概述
本文将详细概述使用Cloudera Manager进行Hadoop集群动态添加和删除节点
注意我们这里采用的Cloudera 的C方案进行安装集群的,所以在添加节点之前务必在新增节点添加Agent服务和JDK
一、准备环境
- 安装agent服务和JDK
#安装Agent服务
rpm -ivh cloudera-manager-daemons-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
rpm -ivh cloudera-manager-agent-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
#安装JDK
rpm -ivh jdk-6u31-linux-amd64.rpm
rpm -ivh oracle-j2sdk1.7-1.7.0xxx1.x86_64.rpm
- 配置ssh认证:免秘钥互相认证
- 分发hosts:用scp分发
二、修改配置
- 修改agent指向的server_host
# vim /etc/cloudera-scm-agent/config.ini
server_host=172.16.3.70
三、启动agent
[root@testhost154 cloudera_soft]# service cloudera-scm-agent start
Starting cloudera-scm-agent: [ OK ]
四、在Cloudera Manager控制台运行添加向导
这里可以创建一份模板,(只包含DataNode和NodeManager)
拥有模板的好处就是对于相同配置的服务器,你可以采用相同的配置进行统一批量的配置,从而达到快速便于维护的部署
五、调整机架感应策略
这里有两种方式:
- 一种直接通过在CM web页面上修改
- 另一种通过shell实现批量修改
五、启动DataNode和NodeManager服务
通过CM启动服务
六、重启集群并且重新部署客户端(依赖YARN相关的)
通过CM上面的重启按钮进行重启集群并选择重新部署客户端
至此完成
(PS:上图的黄色警告都是由相关的内存不足导致的,这里要强调下,用Cloudera一定要保证内存充足,单独一个Agent守护进程就需要2G。所以,如果你没有足够的内存还是安装悠着点)
下一节将介绍如何进行删除节点