CDH6 cluster添加新节点

原有服务器集群因计算力不够、磁盘空间不足等原因需要在原有cdh集群上添加新的计算节点（datanode），ClouderaManager提供了一种可视化的添加方式。

一、节点规划

NO	IP	HOSTNAME	ROLE
1	11.11.11.11	server11-11	dn
2	11.11.11.12	server11-12	dn

二、安装前准备

2.1 配置yum仓库

Yum资源库配置目录位于/etc/yum.repos.d下：
①、创建CM的yum资源库配置文件cloudera-repo.repo

[cloudera-repo]
name=cloudera-repo
baseurl=http://11.11.11.10/cm6
enabled=1
gpgcheck=0

②、拷贝cloudera-repo.repo到其他2台新dn节点server上。

cd /etc/yum.repos.d/
scp -P 22 -i cloudrea-repo.repo "root@11.11.11.11:`pwd`" 
scp -P 22 -i cloudrea-repo.repo "root@11.11.11.11:`pwd`"

2.2 系统环境设置

①、服务器修改主机名：

hostnamectl set-hostname server11-11
hostnamectl set-hostname server11-12

②、主机名与ip映射

cat /etc/hosts
11.11.11.11   server11-11
11.11.11.12   server11-12

③、永久关闭防火墙&selinux：

systemctl stop firewalld.service                 #关闭防火墙
systemctl disable firewalld.service             #设置防火墙关闭启动
setenforce 0                                         #临时关闭selinux
sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config #永久关闭selinux

④、集群时钟同步操作

每台服务器配置ntp服务，添加时间服务器，并启动时间服务器，开机启动，写入硬件时钟：
A).安装ntp服务

yum -y remove chrony #卸载掉默认的chrony时钟软件
yum install ntp -y

B).修改配置文件
修改/etc/ntp.conf文件：

#Use public servers from the pool.ntp.org project.
#Please consider joining the pool (http://www.pool.ntp.org/join.html).
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server 0.pool.ntp.org
server 1.pool.ntp.org
server 2.pool.ntp.org

C).ntp服务启动&开机自启设置

systemctl start ntpd #启动ntp服务
systemctl enable ntpd #设置ntp开机自启

D).时钟同步验证
如下命令，左边如出现*号表示同步成功。一般需要5~10分钟，多刷几次。
ntpq -p
⑤、安装python2.7
centos7默认已安装python2.7

检验命令如下：

#python --version
Python 2.7.5

⑥、设置主节点服务器以root身份免密码登陆从节点服务器
#ssh-keygen -t rsa

不输入任何密码，一路敲回车，生成无密码的密钥对。
然后将公钥添加到CDH集群中每台server中的authorized_keys认证文件中：

ssh-copy-id -p 22 -i ~/.ssh/id_rsa.pub "root@11.11.11.11"
ssh-copy-id -p 22 -i ~/.ssh/id_rsa.pub "root@11.11.11.12"

发送公钥到各节点之后进行ssh访问过程中，如果提示输入密码则可能为公钥并未发送成功至各节点，可能为目标节点上root用户下无 .ssh 目录，请在该节点以root身份执行如下操作：
#ssh-keygen -t rsa
之后，再执行ssh-copy-id命令。

三、安装过程

3.1 添加主机

1、依次点击“主机”-》“更多主机”-》“Add Hosts”

2、继续，填入FQDN格式主机名，搜索要添加的主机

3、选择安装jdk；
4、上传ssh私钥 id_rsa，以完成新节点登陆；
5、系统自动安装agent；
6、添加Parcels选项里填写自己的yum源地址，主机模板如果首次安装，选择无；如果第二次安装同样的服务器，则选择已有模板；
7、点击完成，全部执行完毕后，即可在返回的列表页面中看到自己新添加的2台server。

3.2 为添加添加角色

1、选择主机模板

2、点击“创建”，编辑模板名称“my_host_template”，此时勾选想要安装的组件。

3、编辑该模板，可以修改模板名称，选择大数据欲安装组件列表。
为2台新节点勾选的服务组件样例：

5、依次点击“主机”–》“所有主机”
6、勾选2台新节点，依次点击“已选定的操作” --》“应用主机模板”，将该模板中包含的软件集安装到该主机上。

7、步骤6完成后，则新节点按主机模板安装服务完成。