文档编写目的
Cloudera在2019年7月31日,对外宣布正式发布Cloudera Enterprise 6.3,相关介绍可以参考Fayson之前的文章《0682-Cloudera Enterprise 6.3.0发布》,《0717-6.3.0-Cloudera Manager 6.3的新功能》和《0718-6.3.0-CDH6.3的新功能》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.3。CDH6与CDH5的安装步骤一致,主要包括以下四部分:
1.安全前置准备,包括安装操作系统、关闭防火墙、同步服务器时钟等;
2.外部数据库如MySQL安装
3.安装Cloudera Manager;
4.安装CDH集群;
请务必注意CDH6的安装前置条件包括如下:
- 外部数据库支持:
MySQL 5.7或更高
MariaDB 5.5或更高
PostgreSQL 8.4或更高
Oracle 12c或更高
- JDK
Oracle JDK1.8,将不再支持JDK1.7
- 操作系统支持
RHEL 6.8或更高
RHEL 7.2或更高
SLES 12 SP2或更高
Ubuntu 16或更高
- 本次Fayson的测试环境为
1.CM和CDH版本为6.3
2.Redhat7.4
3.JDK1.8.0_181
4.MariaDB-5.5.56
5.root用户安装
前置准备
2.1 hostname及hosts配置
集群中各个节点之间能互相通信使用静态IP地址。IP地址和主机名通过/etc/hosts配置,主机名通过/etc/hostname进行配置。
以cm节点(172.31.13.38)为例:
- hostname配置
/etc/hostname文件如下:
或者你可以通过命令修改立即生效
- hosts配置
/etc/hosts文件如下:
以上两步操作,在集群中其它节点做相应配置。确认需要安装的4台主机的hosts文件:
![9a8ede5642ebb1a5d8a2f1edfe18a43e.png](https://img-blog.csdnimg.cn/img_convert/9a8ede5642ebb1a5d8a2f1edfe18a43e.png)
2.2 禁用SELinux
在所有节点执行setenforce 0 命令,此处使用批处理shell执行:
![e0500881280d16c53331160701849939.png](https://img-blog.csdnimg.cn/img_convert/e0500881280d16c53331160701849939.png)
集群所有节点修改/etc/selinux/config文件如下:
# This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:# enforcing - SELinux security policy is enforced.# permissive - SELinux prints warnings instead of enforcing.# disabled - No SELinux policy is loaded.SELINUX=disabled# SELINUXTYPE= can take one of three two values:# targeted - Targeted processes are protected,# minimum - Modification of targeted policy. Only selected processes are protected. # mls - Multi Level Security protection.SELINUXTYPE=targeted
![379a367c18e5fcfe2c32e6f6cb1233ad.png](https://img-blog.csdnimg.cn/img_convert/379a367c18e5fcfe2c32e6f6cb1233ad.png)
2.3 关闭防火墙
集群所有节点执行 systemctl stop命令,此处通过shell批量执行命令如下:
![8f07562bd260ff7c3890f0d228bb2c7e.png](https://img-blog.csdnimg.cn/img_convert/8f07562bd260ff7c3890f0d228bb2c7e.png)
2.4 集群时钟同步
在Redhat7.x的操作系统上,已经默认的安装了chrony,我们这里先卸载chrony,然后安装ntp。使用ntp来配置各台机器的时钟同步,将cm(172.31.13.38)服务作为本地ntp服务器,其它3台服务器与其保持同步。
1.所有机器卸载chrony
2.所有机器安装ntp
3.cm机器配置时钟与自己同步
![dcb1ad94a90e20f8a5b3738a7de4978c.png](https://img-blog.csdnimg.cn/img_convert/dcb1ad94a90e20f8a5b3738a7de4978c.png)
4.集群其它节点,配置找cm机器去同步
![fe41273c68b7e4582ce17e9192600af5.png](https://img-blog.csdnimg.cn/img_convert/fe41273c68b7e4582ce17e9192600af5.png)
5.重启所有机器的ntp服务
6.验证始终同步,在所有节点执行ntpq -p命令,如下使用脚本批量执行
![567f61d5c803720811af425b9a2cbe29.png](https://img-blog.csdnimg.cn/img_convert/567f61d5c803720811af425b9a2cbe29.png)
左边出现*号表示同步成功。
2.5 设置swap
1.在所有机器执行以下命令以临时设置swap为1,并即时生效
![f55c42ac7683eafb1c767049c682ee21.png](https://img-blog.csdnimg.cn/img_convert/f55c42ac7683eafb1c767049c682ee21.png)
确保最后swap打印应该都为1
2.为所有机器永久设置swap为1,修改/etc/sysctl.conf中vm.swappiness为1,没有则新增。
![4016cbd0014d5cdc8d45d787876d2c7b.png](https://img-blog.csdnimg.cn/img_convert/4016cbd0014d5cdc8d45d787876d2c7b.png)
将/etc/sysctl.conf文件同步到集群所有机器
![9fe461346191a26a32f0415fd7400928.png](https://img-blog.csdnimg.cn/img_convert/9fe461346191a26a32f0415fd7400928.png)
2.6 设置透明大页面
1.所有节点执行以下命令关闭透明大页面,并即时生效
![96c836834d409e06895fe870b46075ff.png](https://img-blog.csdnimg.cn/img_convert/96c836834d409e06895fe870b46075ff.png)
2.修改所有节点的/etc/rc.d/rc.local文件的权限以实现开机执行
3.在所有节点的/etc/rc.d/rc.local文件中新增如下内容,以实现开机自动关闭透明大页面。
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi
![7e4c00970d1ba5f39c22be3388095f93.png](https://img-blog.csdnimg.cn/img_convert/7e4c00970d1ba5f39c22be3388095f93.png)
将该文件同步到所有节点
![63d243910cc1ecda029f6943cfced5f6.png](https://img-blog.csdnimg.cn/img_convert/63d243910cc1ecda029f6943cfced5f6.png)
2.7 配置操作系统repo
Fayson用的是AWS的环境,这步是可以省略的,放在这里供物理机部署的兄弟们参考。
- 挂载操作系统iso文件
![46f0ac12b92cdbe88b88f75407fb36b3.png](https://img-blog.csdnimg.cn/img_convert/46f0ac12b92cdbe88b88f75407fb36b3.png)
- 配置操作系统repo
[ec2-user@ip-172-31-2-159 ~]$ sudo vim /etc/yum.repos.d/local_os.repo[local_iso] name=CentOS-$releasever - Mediabaseurl=file:///media/DVD1gpgcheck=0enabled=1[ec2-user@ip-172-31-2-159 ~]$ sudo yum repolist
2.8 安装httpd服务
- 安装httpd服务
- 启动httpd服务
- 安装完httpd后,重新制作操作系统repo,换成http的方式方便其它服务器也可以访问
1.修改/etc/httpd/conf/httpd.conf配置文件,在中修改以下内容
![0ca7c9f9450a3bb64c53a20eb41c2181.png](https://img-blog.csdnimg.cn/img_convert/0ca7c9f9450a3bb64c53a20eb41c2181.png)
2.保存httpd.conf的修改,并重启httpd服务
2.9 安装MariaDB
1.安装MariaDB
2.启动并配置MariaDB
3.建立CM,Hive等需要的表
4.安装JDBC驱动
Cloudera Manager安装
3.1 配置本地repo源
1.下载CM6.3的安装包,地址为:
https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-db-2-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/enterprise-debuginfo-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/allkeys.asc
![42a9ec7c97d1d902c4a3ec3a1de373e7.png](https://img-blog.csdnimg.cn/img_convert/42a9ec7c97d1d902c4a3ec3a1de373e7.png)
2.下载CDH6.3的安装包,地址为:
https://archive.cloudera.com/cdh6/6.3.0/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcelhttps://archive.cloudera.com/cdh6/6.3.0/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha1https://archive.cloudera.com/cdh6/6.3.0/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha256https://archive.cloudera.com/cdh6/6.3.0/parcels/manifest.json
![2cf41edc7ece6ff7ebdd0401b07121b3.png](https://img-blog.csdnimg.cn/img_convert/2cf41edc7ece6ff7ebdd0401b07121b3.png)
3.将Cloudera Manager安装需要的6个rpm包以及一个asc文件下载到本地,放在同一目录,执行createrepo命令生成rpm元数据。
[root@ip-172-31-13-38 cm6.3]# createrepo .
![82e6d30bd65adfcc09186a3a03cfbf26.png](https://img-blog.csdnimg.cn/img_convert/82e6d30bd65adfcc09186a3a03cfbf26.png)
4.配置Web服务器
将上述cdh6.3/cm6.3目录移动到/var/www/html目录下, 使得用户可以通过HTTP访问这些rpm包。
![83e19652c67025c6f1a8817eb9d4c736.png](https://img-blog.csdnimg.cn/img_convert/83e19652c67025c6f1a8817eb9d4c736.png)
验证浏览器能否正常访问
![e41a4778d5deefb3bfe27cd227aa4f0e.png](https://img-blog.csdnimg.cn/img_convert/e41a4778d5deefb3bfe27cd227aa4f0e.png)
![a4d5253fa77bcc94f69358a1394d6be9.png](https://img-blog.csdnimg.cn/img_convert/a4d5253fa77bcc94f69358a1394d6be9.png)
5.制作Cloudera Manager的repo源
![ae23390909ae61c5bba031fd736aaf78.png](https://img-blog.csdnimg.cn/img_convert/ae23390909ae61c5bba031fd736aaf78.png)
6.验证安装JDK
![0818464ab07adbf4386c8d6afc0fb593.png](https://img-blog.csdnimg.cn/img_convert/0818464ab07adbf4386c8d6afc0fb593.png)
3.2 安装Cloudera Manager Server
1.通过yum安装Cloudera Manager Server
![2b000ca198a257a733f63b7a3e78c7c7.png](https://img-blog.csdnimg.cn/img_convert/2b000ca198a257a733f63b7a3e78c7c7.png)
2.初始化数据库
![93fb0921f82d83f7e6b15eb13cd7c53c.png](https://img-blog.csdnimg.cn/img_convert/93fb0921f82d83f7e6b15eb13cd7c53c.png)
3.启动Cloudera Manager Server
![590997e91f74af2ae03958db4bb603de.png](https://img-blog.csdnimg.cn/img_convert/590997e91f74af2ae03958db4bb603de.png)
4.检查端口是否监听
5.通过http://cm_ip:7180/cmf/login访问CM
![a65341163adf32c8b8c12d6cc926e7fe.png](https://img-blog.csdnimg.cn/img_convert/a65341163adf32c8b8c12d6cc926e7fe.png)
注意:完全启动成功需要几分钟时间。
CDH安装
4.1 CDH集群安装向导
1.admin/admin登录到CM
![c04a6c2e5c9cffdd0642945e2cdf11dd.png](https://img-blog.csdnimg.cn/img_convert/c04a6c2e5c9cffdd0642945e2cdf11dd.png)
2.同意license协议,点击继续
![b0443fddc508f10b5a2d9862675dbf06.png](https://img-blog.csdnimg.cn/img_convert/b0443fddc508f10b5a2d9862675dbf06.png)
3.选择60试用,点击继续
![7f7f784c01e3ae3cafe1feb6b562eb7d.png](https://img-blog.csdnimg.cn/img_convert/7f7f784c01e3ae3cafe1feb6b562eb7d.png)
4.点击“继续”
![c496e59798b3548b83b1b38fdc036184.png](https://img-blog.csdnimg.cn/img_convert/c496e59798b3548b83b1b38fdc036184.png)
5.点击“继续”,输入集群名称,可以使用默认的“Cluster 1”。
![66968fe9bb5d4227d3336578e3bb9b2b.png](https://img-blog.csdnimg.cn/img_convert/66968fe9bb5d4227d3336578e3bb9b2b.png)
6.输入主机IP或者名称,点击搜索找到主机后点击继续
![80fbd0f45617f0299ded56cd467a5289.png](https://img-blog.csdnimg.cn/img_convert/80fbd0f45617f0299ded56cd467a5289.png)
![4a91ae757776aeed02201eee0220b107.png](https://img-blog.csdnimg.cn/img_convert/4a91ae757776aeed02201eee0220b107.png)
7.选择自定义存储库,输入cm的http地址
![a0c8b3c3a2d3ef91d3ca8f0af6f45082.png](https://img-blog.csdnimg.cn/img_convert/a0c8b3c3a2d3ef91d3ca8f0af6f45082.png)
“CDH and other software”中选择“使用 Parcel (建议)”,点击“ 更多选项”,点击“-”删除其它所有地址,输入http://172.31.13.38/cdh6.3,点击“保存更改”
![b83a0fec23a5a04485aaf41f73eea937.png](https://img-blog.csdnimg.cn/img_convert/b83a0fec23a5a04485aaf41f73eea937.png)
![8fefa8bc9febb37a5055cda34291ea7d.png](https://img-blog.csdnimg.cn/img_convert/8fefa8bc9febb37a5055cda34291ea7d.png)
![789975e0cb3a5c4e8961fa634544b86d.png](https://img-blog.csdnimg.cn/img_convert/789975e0cb3a5c4e8961fa634544b86d.png)
点击“继续”
8.点击“继续”,进入下一步安装jdk
![582af6af35c3073d043a43357b43cd3b.png](https://img-blog.csdnimg.cn/img_convert/582af6af35c3073d043a43357b43cd3b.png)
9.点击“继续”,进入下一步配置ssh账号密码
![f2a0e3697a98779feb92d3d4cf7d9db0.png](https://img-blog.csdnimg.cn/img_convert/f2a0e3697a98779feb92d3d4cf7d9db0.png)
10.点击“继续”,进入下一步,安装Cloudera Manager相关到各个节点
![f80de4712d78c80fbb5aeb17c6a42d35.png](https://img-blog.csdnimg.cn/img_convert/f80de4712d78c80fbb5aeb17c6a42d35.png)
等待Agent安装完毕后,自动跳转到下一步开始分发Parcel
11.点击“继续”,进入下一步安装cdh到各个节点
![7d503369d82ee67dd775b55ef3bebf0d.png](https://img-blog.csdnimg.cn/img_convert/7d503369d82ee67dd775b55ef3bebf0d.png)
![4afad4fb58e91bc5f09848ea303c50b8.png](https://img-blog.csdnimg.cn/img_convert/4afad4fb58e91bc5f09848ea303c50b8.png)
12.点击Inspect Network Performance和Inspect Hosts,检查主机
![6fc31c210c42fbc88b07b58f144bde92.png](https://img-blog.csdnimg.cn/img_convert/6fc31c210c42fbc88b07b58f144bde92.png)
如果有错误或者黄色警告,查看“显示检查器结果”,并逐项解决,然后“重新运行”检查,直到所有的检查都通过,否则没办法点击继续下一步。
![92245ce6511b771a1a77d0594a5e6402.png](https://img-blog.csdnimg.cn/img_convert/92245ce6511b771a1a77d0594a5e6402.png)
4.2 集群设置安装向导
1.选择需要安装的服务,根据需要选择,这里随便选择Data Warehouse,也可以自定义服务
![b2d03511e718dc0d353896101104d9c0.png](https://img-blog.csdnimg.cn/img_convert/b2d03511e718dc0d353896101104d9c0.png)
2.点击“继续”,进入集群角色分配,一台机器作为管理节点,另外三台机器作为DataNode
![33aca4602b101dfadfa7195b8fad95c8.png](https://img-blog.csdnimg.cn/img_convert/33aca4602b101dfadfa7195b8fad95c8.png)
![1f417fbc85db26e6603d51095cbceca3.png](https://img-blog.csdnimg.cn/img_convert/1f417fbc85db26e6603d51095cbceca3.png)
注意:Activity Monitor和Telemetry Publisher不用选择任何主机,留空,即不安装,因为用不到。
3.点击“继续”,进入下一步,测试数据库连接
![7fce7f4cf3710ca7748f08c6afa784d2.png](https://img-blog.csdnimg.cn/img_convert/7fce7f4cf3710ca7748f08c6afa784d2.png)
4.测试成功,点击“继续”,进入目录设置,此处使用默认默认目录,根据实际情况进行目录修改
![5ea89cb7a1f31ffa26174167e27c0381.png](https://img-blog.csdnimg.cn/img_convert/5ea89cb7a1f31ffa26174167e27c0381.png)
5.点击“继续”,进入各个服务启动
![9845cedc2d6e18d60b7572572062f4b0.png](https://img-blog.csdnimg.cn/img_convert/9845cedc2d6e18d60b7572572062f4b0.png)
6.安装成功后进入home管理界面
![365c2f94da728fbaf65a5169dd1472da.png](https://img-blog.csdnimg.cn/img_convert/365c2f94da728fbaf65a5169dd1472da.png)
![564a0c693adf01a6989e8f61219b1a6e.png](https://img-blog.csdnimg.cn/img_convert/564a0c693adf01a6989e8f61219b1a6e.png)
4.3 组件版本检查
![d5c544e848344bdb37fbe8a7d781a9e6.png](https://img-blog.csdnimg.cn/img_convert/d5c544e848344bdb37fbe8a7d781a9e6.png)
![c00edb87e8712e659c72ec1db927588c.png](https://img-blog.csdnimg.cn/img_convert/c00edb87e8712e659c72ec1db927588c.png)
可以看到Hadoop3.0,Flume1.9,HBase2.1,Hive2.1.1,Spark2.4,Hue4.2.0,Impala3.2,Kafka2.2.1,Kudu1.0,Oozie5.1,Pig0.17,Senty2.1,Solr7.4,Sqoop1.4.7,Zookeeper3.4.5等。
总结
1.从安装方式上来看,CDH6与CDH5变化不大,这也方便了CDH5的用户可以较为快速的迁移到CDH6,以及适应CDH6的安装与使用。
2.安装向导界面有一些变化,现在可以一目了然的看到一共多少步骤,以及每个步骤是干什么。
3.安装条件前置没有任何变化,包括防火墙,Selinux关闭,ntp同步等等。可以参考Fayson之前的文章《CDH安装前置准备》
4.进到主界面变化也不大,主要是Cloudera的logo变成了黑色,与Cloudera主页的整体风格一致。
5.在配置Cloudera Manager连接到数据库时的脚本有所变化。以前是/usr/share/cmf/schema/scm_prepare_database.sh,现在是/opt/cloudera/cm/schema/scm_prepare_database.sh
6.Cloudera Manager服务的状态在Redhat7通过systemctl status cloudera-scm-server查看是显示正确,而以前是不正确的,可以参考Fayson之前的文章《Cloudera Manager服务在RedHat7状态显示异常分析》
7.Cloudera Manager的rpm安装包由之前的7个变成了6个,去掉了之前的JDK6的包,然后自带JDK1.8.0_181,将不再支持JDK1.7。
8.注意CM的安装除了下载rpm包以外,还要下载allkeys.asc文件,否则安装agent的时候会报以下错误:
![d44c6a5e755cc94ebdab76dd9a4337c7.png](https://img-blog.csdnimg.cn/img_convert/d44c6a5e755cc94ebdab76dd9a4337c7.png)
![d282f63c3944e029379bd2c3b249b1d8.png](https://img-blog.csdnimg.cn/img_convert/d282f63c3944e029379bd2c3b249b1d8.png)
9.对于离线安装CDH6.x,分发Parcel出现hash校验失败的问题,是因为在CM6中修复了一个bug,让它不再忽略由http服务器发送的“Content-Encoding”的header信息,但是我们在Redhat中安装的httpd服务,当它传输parcel文件时,默认会错误的设置“Content-Encoding”。于是CM server会错误的认为parcel文件已经被httpd压缩并尝试解压缩。所以会导致失败。解决办法是参考2.8章节的,设置httpd的conf文件,AddType application/x-gzip .gz .tgz .parcel,然后重启httpd服务和CM服务。这个问题在beta的时候就已经存在了,具体请参考《0350-Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析》
10.与CDH6.1的安装相比,6.2/6.3有一些细微的差别,首先多了一个步骤可以自定义集群的名字,默认“Cluster 1”;另外在“检查主机”那个步骤,多了一个选项“检查网络性能”,这个功能是为CDH6.2/6.3的新功能SDX服务的,因为SDX是存储计算分离的架构,如果网络是瓶颈,可能并不适合SDX。