首先确保以下步骤都成功进行,没有特别说明的话,集群中每个节点都要执行以下的步骤
linux系统为 Centos 7.2,CDH的版本6.3.1
以下是官网下载的文件说明
CM:
cm6.3.1-redhat7.tar.gz
CDH Parcel(hive,hbase,hdfs等):
CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel
CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1
manifest.json
安装说明:cm是通过rpm的方式安装,tar.gz解压后,里面有rpm
CDH是通过 apache配置parcel本地源的方式安装
1 配置 hostname,每个节点都把集群的所有hostname都加上,注意 ip 是内网ip
https://blog.csdn.net/qq_41712271/article/details/108689031
2 防火墙设置
https://blog.csdn.net/qq_41712271/article/details/108689079
3 禁用 SELinux安全子系统
https://blog.csdn.net/qq_41712271/article/details/108689124
4 配置ssh免密登陆 (master,slave1,slave2必须能免登陆自己)(master能免登陆其它两个主机)
https://blog.csdn.net/qq_41712271/article/details/108689205
时钟同步
注意:我们在生产环境这一步必须做,学习环境可以不做,虚拟机会自动同步。
现在有三个节点了,需要把三个节点做一下时钟同步(注意 master 也得做),因为 HBase、 Kudu 等很多存储依赖于时间同步。
在 CentOS6 中,默认是使用 ntpd 来同步时间的,但 ntpd 同步时间并不理想,有可能需要数小时来同步时间,
所以在 Centos7 中换成了 chrony 来实现时间同步。
ntpd同步时间可查看博文
https://blog.csdn.net/qq_41712271/article/details/108876697
5 安装java环境 jdk1.8,目录必须为 /usr/java下
https://blog.csdn.net/qq_41712271/article/details/108689414
6 安装 Apache (只安装master主机)
https://blog.csdn.net/qq_41712271/article/details/108695597
7 通过apache部署CDH的离线parcel源
https://blog.csdn.net/qq_41712271/article/details/108885535
8 安装 mysql (master和hive元数据的节点上必须装,其它服务以此类推)
https://blog.csdn.net/qq_41712271/article/details/108697263
9 cm安装前准备工作,创建元数据库和创建相应的用户,
并将java操作mysql的jar包,放入 /usr/share/java/ 目录,必须此目录
https://blog.csdn.net/qq_41712271/article/details/108877586
10 通过rpm包的方式,离线部署cm server及agent
https://blog.csdn.net/qq_41712271/article/details/108885914
11 三个机器都要做,关闭大页面
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
12 http://cdh001公网ip:7180/ 打开网页,开始设置安装cdh,容易出错的位置如下