[CDH6.3.1集群搭建] 通过CM 从零开始安装 和设置 cm server,部署CDH集群

首先确保以下步骤都成功进行,没有特别说明的话,集群中每个节点都要执行以下的步骤
linux系统为 Centos 7.2,CDH的版本6.3.1

以下是官网下载的文件说明
CM:
cm6.3.1-redhat7.tar.gz

CDH Parcel(hive,hbase,hdfs等):
CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel
CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1
manifest.json

安装说明:cm是通过rpm的方式安装,tar.gz解压后,里面有rpm
                    CDH是通过 apache配置parcel本地源的方式安装

1 配置 hostname,每个节点都把集群的所有hostname都加上,注意 ip 是内网ip
https://blog.csdn.net/qq_41712271/article/details/108689031

2 防火墙设置
https://blog.csdn.net/qq_41712271/article/details/108689079

3 禁用 SELinux安全子系统
https://blog.csdn.net/qq_41712271/article/details/108689124

4 配置ssh免密登陆 (master,slave1,slave2必须能免登陆自己)(master能免登陆其它两个主机)
https://blog.csdn.net/qq_41712271/article/details/108689205

时钟同步
注意:我们在生产环境这一步必须做,学习环境可以不做,虚拟机会自动同步。
现在有三个节点了,需要把三个节点做一下时钟同步(注意 master 也得做),因为 HBase、 Kudu 等很多存储依赖于时间同步。
在    CentOS6 中,默认是使用 ntpd 来同步时间的,但 ntpd 同步时间并不理想,有可能需要数小时来同步时间,
所以在 Centos7 中换成了 chrony 来实现时间同步。
ntpd同步时间可查看博文
https://blog.csdn.net/qq_41712271/article/details/108876697

5 安装java环境 jdk1.8,目录必须为 /usr/java下
https://blog.csdn.net/qq_41712271/article/details/108689414

6 安装 Apache (只安装master主机)
https://blog.csdn.net/qq_41712271/article/details/108695597

通过apache部署CDH的离线parcel源
https://blog.csdn.net/qq_41712271/article/details/108885535

8 安装 mysql (master和hive元数据的节点上必须装,其它服务以此类推)
https://blog.csdn.net/qq_41712271/article/details/108697263

9 cm安装前准备工作,创建元数据库和创建相应的用户,
并将java操作mysql的jar包,放入 
/usr/share/java/ 目录,必须此目录
https://blog.csdn.net/qq_41712271/article/details/108877586

10 通过rpm包的方式,离线部署cm server及agent
https://blog.csdn.net/qq_41712271/article/details/108885914

11 三个机器都要做,关闭大页面
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

12 http://cdh001公网ip:7180/ 打开网页,开始设置安装cdh,容易出错的位置如下





 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值