Cloudera Hadoop集群添加

概述

本文将详细概述使用Cloudera Manager进行Hadoop集群动态添加和删除节点

注意我们这里采用的Cloudera 的C方案进行安装集群的，所以在添加节点之前务必在新增节点添加Agent服务和JDK

一、准备环境

• 安装agent服务和JDK

#安装Agent服务
rpm -ivh cloudera-manager-daemons-5.5.3-1.cm553.p0.1.el6.x86_64.rpm 
rpm -ivh cloudera-manager-agent-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
#安装JDK
rpm -ivh jdk-6u31-linux-amd64.rpm
rpm -ivh oracle-j2sdk1.7-1.7.0xxx1.x86_64.rpm

• 配置ssh认证：免秘钥互相认证
• 分发hosts：用scp分发

二、修改配置

1. 修改agent指向的server_host

# vim /etc/cloudera-scm-agent/config.ini
server_host=172.16.3.70

三、启动agent

[root@testhost154 cloudera_soft]# service cloudera-scm-agent start
Starting cloudera-scm-agent:                               [  OK  ]

四、在Cloudera Manager控制台运行添加向导

这里可以创建一份模板，（只包含DataNode和NodeManager）

拥有模板的好处就是对于相同配置的服务器，你可以采用相同的配置进行统一批量的配置，从而达到快速便于维护的部署

五、调整机架感应策略

这里有两种方式：

• 一种直接通过在CM web页面上修改
• 另一种通过shell实现批量修改

五、启动DataNode和NodeManager服务

通过CM启动服务

六、重启集群并且重新部署客户端（依赖YARN相关的）

通过CM上面的重启按钮进行重启集群并选择重新部署客户端

至此完成

（PS：上图的黄色警告都是由相关的内存不足导致的，这里要强调下，用Cloudera一定要保证内存充足，单独一个Agent守护进程就需要2G。所以，如果你没有足够的内存还是安装悠着点）

下一节将介绍如何进行删除节点