CDH5.5.1增加新主机

21 篇文章 1 订阅
1.说明
CDH机器添加分三种方式
1) 页面向导添加(最好离线,不然会从官网下载安装包时间较长)
2) 软件包手动安装
3) 原始码手动安装(原始码安装需要自己指定管理目录)
这里分享第二种方式,软件包安装方法

2.安装部署

1) 主机名、ip等修改好,关闭防火墙,ssh免密码登录,CM服务器配置下hosts文件解析新主机

chkconfig ntpd on
service ntpd start
ntpdc -c loopinfo

2) 首先到http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/选择对应的版本,主要参考已有集群的agent的版本,进行选择,安装agent
3) 下载对应版本的rpm包,如5.5.1版本的
cloudera-manager-agent-5.5.1-1.cm551.p0.8.el6.x86_64.rpm    
cloudera-manager-daemons-5.5.1-1.cm551.p0.8.el6.x86_64.rpm
jdk-6u31-linux-amd64.rpm
4) 安装jdk,最好与原有集群jdk版本保持一致
5) 安装daemons、agent,rpm包
6) 启动agent
/etc/init.d/cloudera-scm-agent start
7) 这时打开scm web管理页面,点击最上面导航 主机 选项即可看到新增加的节点
8) 点击上面的 向集群添加新主机 即可添加,共5步
    a) 由于已经将cm agent拷贝到各机器并启动了,此处不是通过IP或hostname查找的(即使查出来也无法选择),而是已存在的主机里面选择,选择新加的agent,点继续
    b) 出现下载parcel的界面,此处多多注意不同linux版本要不同的parcel包
    c) 检查主机正确性
    d) 检查主机正确性
    e) 选择主机模板-此处可选择要安装的组件
    f) 完成

添加客户端服务

hdfs服务 > 添加角色实例 > 选择Gateway
这样新增的主机有hdfs客户端的命令了
其他服务也是同理。

参考:http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cm_mc_adding_hosts.html

   http://blog.csdn.net/xleyou/article/details/25792853

报错处理:
DNS反向解析PTR localhost:
描述:
    DNS反向解析错误,不能正确解析Cloudera Manager Server主机名
    日志:

            Detecting Cloudera Manager Server...
            Detecting Cloudera Manager Server...
            BEGIN host -t PTR 192.168.10.19
            19.10.168.192.in-addr.arpa domain name pointer localhost.
            END (0)
            using localhost as scm server hostname
            BEGIN which python
            /usr/bin/python
            END (0)
            BEGIN python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' localhost 7182
            Traceback (most recent call last):
            File "<string>", line 1, in <module>
            File "<string>", line 1, in connect
            socket.error: [Errno 111] Connection refused
            END (1)
            could not contact scm server at localhost:7182, giving up
            waiting for rollback request

解决方案:
将新主机的 /usr/bin/host 文件删掉,执行下面命令:
mv /usr/bin/host /usr/bin/host.bak

说明:
不明白cloudera的初衷,这里已经得到 Cloudera Manager Server的ip了,却还要把ip解析成主机名来连接由于DNS反向解析没有配置好,根据Cloudera Manager Server 的ip解析主机名却得到了localhost,造成之后的连接错误这里的解决方案是直接把/usr/bin/host删掉,这样Cloudera Manager就会直接使用 ip进行连接,就没有错了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值