cdh 安装_安装CDH

最新推荐文章于 2024-06-12 18:02:46 发布
最新推荐文章于 2024-06-12 18:02:46 发布
阅读量74 收藏
点赞数
文章标签： cdh 安装 vm安装centos7
48f0fdec7127f23de069f6e651129c91.png

日头没有辜负我们，我们也切莫辜负日头。——沈从文《边城》

安装配置Cloudera Manager

(1)配置n1节点

通过工具将下面的安装包上传到/tmp目录

cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz

CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel

CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1

manifest.json

拷贝CM安装包到/opt目录下

＃cp /tmp/cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz /opt/

把CM解压缩

＃cd /opt/

＃tar -zxvf cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz

将解压出来的两个目录的所有者改成root

# chown -R  root.root /opt/cloudera/

# chown -R  root.root /opt/cm-5.13.0/

把除CM外的三个文件拷贝到CM解压后的/opt/cloudera/parcel-repo下

＃cp /tmp/CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel /opt/cloudera/parcel-repo

＃cp /tmp/CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1 /opt/cloudera/parcel-repo

＃cp /tmp/manifest.json /opt/cloudera/parcel-repo

 把CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1后面的1去掉

# cd /opt/cloudera/parcel-repo

# mv CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1 CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha

 配置映射服务器的机器名

＃vi /opt/cm-5.13.0/etc/cloudera-scm-agent/config.ini

server_host=n1

创建cloudera-scm-agent的pid目录

＃mkdir /opt/cm-5.13.0/run/cloudera-scm-agent

将mysql的JDBC驱动放入CM的/opt/cm/share/cmf/lib/目录下

＃cp /tmp/mysql-connector-java-5.1.45-bin.jar /opt/cm-5.13.0/share/cmf/lib

在mysql中创建CM所用数据库

--hive数据库

mysql>create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

--oozie数据库

mysql>create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

--hue数据库

mysql>create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

--reports数据库

mysql>create database reports DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

访问授权

mysql>grant all privileges on *.* to 'root'@'n1' identified by 'jtv.123456' with grant option;

mysql>flush privileges;

为CM创建数据库

＃/opt/cm-5.13.0/share/cmf/schema/scm_prepare_database.sh mysql cm -h localhost -uroot -pjtv.123456 --scm-host localhost scm scm scm

设置swap空间

＃vi /etc/sysctl.conf

末尾加上 vm.swappiness=10

创建cloudera-scm用户 (所有节点)

＃useradd --system --home=/opt/cm-5.13.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

(2)配置子节点

拷贝/etc/sysctl.conf到子节点

＃scp /etc/sysctl.conf root@n2:/etc/sysctl.conf

＃scp /etc/sysctl.conf root@n3:/etc/sysctl.conf

拷贝/opt/ cm-5.13.0到其余节点

＃scp -r /opt/cm-5.13.0 root@n2:/opt/

＃scp -r /opt/cm-5.13.0 root@n3:/opt/

(3)启动服务

三台机器分别重启

＃reboot

启动CM server服务(n1节点)

＃/opt/cm-5.13.0/etc/init.d/cloudera-scm-server start

分别启动CM agent服务(n1，n2，n3节点)

＃/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start

启动服务需要等待几分钟，然后访问安装界面

n1:7180/cmf/login

用户名／密码默认(admin/admin)

949a9fd73a2d396ffadc22ad421ec7fe.png

2.2.安装配置CDH

(1)登录后，选择免费版本，已经没有节点限制了

edbe8eba30b9fdbe6b086db7201335eb.png

(2)当前管理的主机正确的话可以看到三台，n1，n2，n3，选中点击继续，如果看不全主机可能有三种原因

原因1:各个节点没有指向n1服务器

＃vi /opt/cm-5.13.0/etc/cloudera-scm-agent/config.ini

server_host=n1

原因2:删除各节点随机uuid

＃/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stop

＃rm /opt/cm-5.13.0/lib/cloudera-scm-agent/uuid

＃/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start

原因3:检查ssh是否设置免密访问

＃ssh root@n2

＃ssh root@n3

7179be9cd87c4c2d686eb4f159603fb9.png

(3)选择CDH-5.13.0-1.cdh5.13.0.p0.29这个版本，然后点击继续

cb8cbe29a13275fd7005db896e48d03c.png

集群安装，Parcel，正常的话可以安装完成，需要十几分钟，若出现主机不良

＃/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stop

＃rm -f /opt/cm-5.13.0/lib/cloudera-scm-agent/cm_guid

＃/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start

若出现Failure due to stall on seeded torrent

重启提示节点的agent服务

(4)集群安装

55471d94d80f05989a5a833d6c88b7c4.png

(5)继续，部分警告没有关系，当然是可以解决的。解决方案如下：

f35d2110b62edb1c2b1923d7b8f68a5c.png

解决方法：

# echo 0 > /proc/sys/vm/swappiness

# echo never > /sys/kernel/mm/transparent_hugepage/defrag

# echo "echo 0 > /proc/sys/vm/swappiness" >>/etc/rc.d/rc.local

# echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >>/etc/rc.d/rc.local

执行解决方法之后点击重新运行：

cf79b17c2a281e3518f5828d8999f5b5.png

(6)机器配置不高的话可选择自定义服务，选择当前所需，后续可以再追加安装。

这里选择所有服务。

9823f30ad7602f6e8ef5a7619cf22e8d.png

(7)服务配置，一般情况下保持默认就可以了(Cloudera Manager会根据机器的配置自动进行配置，如果需要特殊调整，自行进行设置就可以了)

cf31df6a01b398de3df4f8822ae38799.png

(8)接下来是数据库的设置，检查通过后就可以进行下一步的操作了：

如果出现以下错误。

d143b222294c90bfcd9ce3a6f1a0edfe.png

解决方案：(主节点)依次执行以下命令。

# yum install python-psycopg2

# yum install libxml2-python

# yum install mysql*

29559600d00d2213152fae72ee1eb221.png

(9)下面是集群设置的审查页面，全部保持默认配置即可：

2f7e833afceac48b59e0793c9b59f2f1.png

(10)终于到安装各个服务的地方了，注意，这里安装Hive，或oozie的时候可能会报错，因为我们使用了MySql作为hive的元数据存储，hive默认没有带mysql的驱动，通过以下命令拷贝一个就行了：

(里面的部分目录不对，请根据实际的做修正)：

# cp /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hive/lib/

# cp /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/oozie/lib/

# cp /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /var/lib/oozie/

# cp /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar

05ce45575e7812d3c5f92ab2dc664ce2.png

大约十几分钟，安装完成。

02a5451cafc3acda85f34c0433e1e921.png

注：但是运行到这里可能会出现以下错误：

cb77eb88f3909ceb1935618033ffd155.png

返回cloudera manager主页,查看已经有了oozie的服务,直接启动它!

大功告成！！！

5e80ec5c10809e155237cd4127047b99.png

末尾设置：设置HADOOP_CLASSPATH

# vi ~/.bash_profile

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hive/lib/*

PATH=$PATH:$HOME/bin:$HOME/.local/bin

export PATH

# source ~/.bash_profile

6f9a488295e57967b581df67c82e9398.png

来源：经验创新贴

 作者：小赖同学，赔钱作者

 图片：自制

87b1a272e657e2d84b67e363d59dca13.gif b8c59aa5bc0a3b9a0e270e8a5cb3189a.png

微信号：

经验创新贴

技术人的誓言

拿到需要不要总是

用技术的思维去看待

提 升自己比什么都重要

weixin_39863759
关注
CDH安装手册.rar_cdH_hadoop_hadoop安装手册_大数据_安装部署
07-13
《CDH安装手册》是大数据领域的一份重要参考资料，主要针对Hadoop的安装与部署进行详细阐述。CDH，全称Cloudera Distribution Including Apache Hadoop，是由Cloudera公司提供的一个开源大数据平台，它包含了多个...
centos 7.4下 RPM包部署CDH5.13.0安装与配置（详细部署及问题汇总）
weixin_51485976的博客
07-29 1473
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 centos 7.4 RPM包部署CDH5.13.0安装与配置一、安装环境准备二、安装 CM 和 CDH三、启动CM服务四、初始化 Cloudera Manager五、问题汇总总结 一、安装环境准备 1 配置主机名(每个节点) 编辑/etc/hostname，修改主机名 vim /etc/hostname 使用命令使其立刻生效 hostname $(cat /etc/hostname) 修改文件/etc/hosts，增加如下内容： vi
centos7.5搭建cdh5.13.0+mysql5.7或postgres
LXYuuuuu的博客
02-01 505
序言 本文集群搭建为三台机器，cdh版本为5.13.0，以下是安装过程中所用到的软件包等，可以自行下载。 一、前期准备 1.安装环境 系统：centos7.5/最小安装版本/64位 内存：主节点 --> 32G/从节点 --> 16G 三台机器组成小集群（物理机） cdh01 cdh02 cdh03 需要下载的安装包 cloudera-manager-centos...
cdh平台安装详细教程
热爱生活，忠于自己
10-23 1940
CDH Cloudera版本平台安装基本流程
CDH集群6.3.2 + CM6.3.1离线安装部署实操保姆级详细教程
BlogPan的专栏
08-23 8290
CDH是一个基于Apache Hadoop的开源软件分发版本，由Cloudera公司开发和维护。CDH提供了统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案，组件包括Hadoop分布式文件系统（HDFS）、分布式计算框架（MapReduce）及其他相关开源组件，如Hive、HBase、Impala等。CDH的目标是简化大数据处理和分析的过程，使企业能够更好地利用大数据来获取洞察力和价值。CM是Cloudera提供的一个集中式管理工具，用于管理和监控CDH集群。
CDH6.x安装教程(附带整合kerberos)
qq_32068809的博客
02-02 5052
一、安装前准备 设置HOST vi /etc/hosts 关闭防火墙 sudo systemctl disable firewalld sudo systemctl stop firewalld 设置SELinux vi /etc/selinux/config 将SELINUX=enforcing 改为SELINUX=permissive，然后重启服务器，或者执行下面命令： setenforce 0 开启NTP服务 # 安装NTP服务.....
大数据平台CDH6.2.0安装部署
10-27
大数据平台CDH6.2.0安装部署 大数据平台CDH6.2.0安装部署是指使用Cloudera Manager 6.2.0版本安装和部署大数据平台的过程。该过程包括安装Cloudera Manager Server、配置MySQL数据库、部署CDH Parcel文件、配置...
CDH安装手册
06-13
非常详细的搭建CDH的说明文档，自己一边搭建一边截图并附上说明文字。
CDH 安装手册
11-12
### CDH安装手册知识点概述 #### 一、CDH系统简介 CDH（Cloudera Distribution Including Apache Hadoop）是Cloudera公司提供的一款基于Apache Hadoop的企业级大数据平台。它集成了大量的开源项目，包括但不限于...
CDH安装文档版
12-20
CDH（Cloudera's Distribution Including Apache Hadoop）是Cloudera公司提供的一套基于Apache Hadoop的大数据处理平台，它集成了Hadoop生态系统中的各种组件，并提供了安装、配置和管理Hadoop集群的解决方案。...
CDH-5.13.1-1.cdh5.13.1.p0.2-el7
08-22
Manifest.json文件是5+移动App的配置文件，用于指定应用的显示名称、图标、应用入口文件地址及需要使用的设备权限等信息，用户可通过HBuilder的可视化界面视图或者源码视图来配置5+移动App的信息。 Manifest.json文件根据w3c的webapp规范制定，plus节点下内容为HTML5Plus扩展规范，其下包括iOS和Android子节点，内容来源分别为iOS和Android原生打包所要求的参数，用于对5+移动App打包为ipa或apk安装包进行配置。
CDH集群异常处理ERROR  Failure due to stall on seeded torrent.、重装时hdfs提示目录已存在、CDH重启不正常
草宝虫的博客
03-05 2563
//////////////////////集群安装报错 ERROR Failure due to stall on seeded torrent. 解决：重启agent服务 //////////////////////重装时hdfs提示目录已存在 rm -rf /dfs rm -rf /impala/ ///////////////////////CDH...
CDH的安装
老码农的心路历程
12-31 983
cdh的完整安装，需要安装包的私信我
部署CDH以及相关服务启动时的问题与解决方法
热门推荐
fearless11的博客
02-27 3万+
部署CDH以及相关服务启动时的问题与解决方法 （一）系统配置问题   （1）磁盘空间不够     The I/O cache encountered an error while updating data in medium "ahci-0-0" (rc=VERR_BAD_EXE_FORMAT). Make sure there is enough free space on the di
CDH大数据平台部署安装（详细）
最新发布
m0_73800495的博客
06-12 1622
在主节点上安装MySQL数据库，CDH的某些组件（如Cloudera Manager和Hive Metastore）需要数据库支持。在主节点上设置本地YUM源，包含CDH和Cloudera Manager的安装包，便于节点安装和管理软件包。baseurl=http://[IP地址或master节点名称]/cloudera-repos/cm6。#将下载好的rpm安装包上传到/var/www/html/cloudera-repos/cm6。#打开10.8.42.54/cloudera-repos/cm6/
cdh6安装过程报错 failure due to stall on seeded torrent
yy的博客
04-02 1070
报错 解决方法 重启报错对应节点的agent 然后浏览器会自动跳到下一步 # 重启agent service cloudera-scm-agent restart 或者 systemctl restart cloudera-scm-agent
最详细的CDH安装攻略
baidu_17353319的博客
05-03 3506
目录 ·安装前的准备工作 ·安装java ·安装CDH的准备 ·建立CM数据库 ·通过CM部署CDH ·启动各个节点的cloudra-scm-agent与主节点的CM ·安装各节点的CDH ·错误与问题汇总 ·Yum安装错误 ·28, 'Connection timed out after 3鈻[6nmilliseconds' ·初始化CM数据库失败 ·scp同步到其他节点...
Centos7.8+CDH6.2.1从零开始安装
百看不如一RUN
06-06 2859
前言，为什么我要开始重新装一遍呢，因为，我攒了个台式机，还没有装CDH，学习需要用，顺道记录一下安装记录，当做以后的笔记，以后查漏补缺。 一、CDH是什么？ CDH是Cloudera的100%开源平台发行版，包括Apache Hadoop，专门为满足企业需求而构建。CDH提供了企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，帮助您执行端到端的大数据工作流。 1.1 CDH的重点项目有哪些？ 相信大家对这些大数据组件应该都是很熟悉了，那么我.
CDH 6.3.2安装部署（超详细）
2201_75470972的博客
05-23 3029
超级详细的cdh6.3.2安装部署教程
Cloudera大数据平台CDH安装完全指南
"CDH安装手册提供了全面的大数据平台CDH的安装和使用指南，是学习和操作CDH的关键参考资料。" CDH（Cloudera Distribution Including Apache Hadoop）是由Cloudera公司提供的一个全面、集成且经过测试的大数据平台...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值