1.说明
CDH机器添加分三种方式
1) 页面向导添加(最好离线,不然会从官网下载安装包时间较长)
2) 软件包手动安装
3) 原始码手动安装(原始码安装需要自己指定管理目录)
这里分享第二种方式,软件包安装方法
2.安装部署
3) 下载对应版本的rpm包,如5.5.1版本的
cloudera-manager-agent-5.5.1-1.cm551.p0.8.el6.x86_64.rpm
cloudera-manager-daemons-5.5.1-1.cm551.p0.8.el6.x86_64.rpm
jdk-6u31-linux-amd64.rpm
4) 安装jdk,最好与原有集群jdk版本保持一致
5) 安装daemons、agent,rpm包
6) 启动agent
/etc/init.d/cloudera-scm-agent start
7) 这时打开scm web管理页面,点击最上面导航 主机 选项即可看到新增加的节点
8) 点击上面的 向集群添加新主机 即可添加,共5步
a) 由于已经将cm agent拷贝到各机器并启动了,此处不是通过IP或hostname查找的(即使查出来也无法选择),而是已存在的主机里面选择,选择新加的agent,点继续
b) 出现下载parcel的界面,此处多多注意不同linux版本要不同的parcel包
c) 检查主机正确性
d) 检查主机正确性
e) 选择主机模板-此处可选择要安装的组件
f) 完成
报错处理:
DNS反向解析PTR localhost:
描述:
DNS反向解析错误,不能正确解析Cloudera Manager Server主机名
日志:
Detecting Cloudera Manager Server...
Detecting Cloudera Manager Server...
BEGIN host -t PTR 192.168.10.19
19.10.168.192.in-addr.arpa domain name pointer localhost.
END (0)
using localhost as scm server hostname
BEGIN which python
/usr/bin/python
END (0)
BEGIN python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' localhost 7182
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "<string>", line 1, in connect
socket.error: [Errno 111] Connection refused
END (1)
could not contact scm server at localhost:7182, giving up
waiting for rollback request
解决方案:
将新主机的 /usr/bin/host 文件删掉,执行下面命令:
mv /usr/bin/host /usr/bin/host.bak
说明:
不明白cloudera的初衷,这里已经得到 Cloudera Manager Server的ip了,却还要把ip解析成主机名来连接由于DNS反向解析没有配置好,根据Cloudera Manager Server 的ip解析主机名却得到了localhost,造成之后的连接错误这里的解决方案是直接把/usr/bin/host删掉,这样Cloudera Manager就会直接使用 ip进行连接,就没有错了
CDH机器添加分三种方式
1) 页面向导添加(最好离线,不然会从官网下载安装包时间较长)
2) 软件包手动安装
3) 原始码手动安装(原始码安装需要自己指定管理目录)
这里分享第二种方式,软件包安装方法
2.安装部署
1) 主机名、ip等修改好,关闭防火墙,ssh免密码登录,CM服务器配置下hosts文件解析新主机
chkconfig ntpd on
service ntpd start
ntpdc -c loopinfo
3) 下载对应版本的rpm包,如5.5.1版本的
cloudera-manager-agent-5.5.1-1.cm551.p0.8.el6.x86_64.rpm
cloudera-manager-daemons-5.5.1-1.cm551.p0.8.el6.x86_64.rpm
jdk-6u31-linux-amd64.rpm
4) 安装jdk,最好与原有集群jdk版本保持一致
5) 安装daemons、agent,rpm包
6) 启动agent
/etc/init.d/cloudera-scm-agent start
7) 这时打开scm web管理页面,点击最上面导航 主机 选项即可看到新增加的节点
8) 点击上面的 向集群添加新主机 即可添加,共5步
a) 由于已经将cm agent拷贝到各机器并启动了,此处不是通过IP或hostname查找的(即使查出来也无法选择),而是已存在的主机里面选择,选择新加的agent,点继续
b) 出现下载parcel的界面,此处多多注意不同linux版本要不同的parcel包
c) 检查主机正确性
d) 检查主机正确性
e) 选择主机模板-此处可选择要安装的组件
f) 完成
添加客户端服务
hdfs服务 > 添加角色实例 > 选择Gateway
这样新增的主机有hdfs客户端的命令了
其他服务也是同理。
参考:http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cm_mc_adding_hosts.html
报错处理:
DNS反向解析PTR localhost:
描述:
DNS反向解析错误,不能正确解析Cloudera Manager Server主机名
日志:
Detecting Cloudera Manager Server...
Detecting Cloudera Manager Server...
BEGIN host -t PTR 192.168.10.19
19.10.168.192.in-addr.arpa domain name pointer localhost.
END (0)
using localhost as scm server hostname
BEGIN which python
/usr/bin/python
END (0)
BEGIN python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' localhost 7182
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "<string>", line 1, in connect
socket.error: [Errno 111] Connection refused
END (1)
could not contact scm server at localhost:7182, giving up
waiting for rollback request
解决方案:
将新主机的 /usr/bin/host 文件删掉,执行下面命令:
mv /usr/bin/host /usr/bin/host.bak
说明:
不明白cloudera的初衷,这里已经得到 Cloudera Manager Server的ip了,却还要把ip解析成主机名来连接由于DNS反向解析没有配置好,根据Cloudera Manager Server 的ip解析主机名却得到了localhost,造成之后的连接错误这里的解决方案是直接把/usr/bin/host删掉,这样Cloudera Manager就会直接使用 ip进行连接,就没有错了