那些年离线安装CDH集群的常识坑

1 篇文章 0 订阅
1 篇文章 0 订阅

刚搭了个CDH,记录下CDH的常识却致命的最后导致无法继续搭建的坑。

1、Hadoop集群主机host定义

一定要在hadoop集群的所有机器上都配上ip和主机名,一定是每台主机。
(否则,在集群安装的时候只能识别出一个主节点的主机,失败!)
操作如下:
Vi /etc/hosts
然后添加主机群ip
在这里插入图片描述

2、集群的时钟同步

1.检查主机有没有安装ntp,一般都有自带:rpm -qa|grep ntp
没有的直接yum安装:yum install ntp
2.编辑主节点主机ntp配置文件vim /etc/ntp.conf:
①restrict 188.104.14.80 mask 255.255.255.248 nomodify notrap(可以一个ip,也可以一个网段)
②注释掉以前的服务器地址:加入现在的服务器地址。只不过是本机,一会下级主机也是这么改,不过服务器地址改成主节点主机。

在这里插入图片描述

3.开ntp:service ntpd start
4.搞个开机自启:chkconfig ntpd on
5.查看NTP运行状态:netstat -tlunp | grep ntp
在这里插入图片描述

6.防火墙123端口过滤:/sbin/iptables -I INPUT -p udp --dport 123 -j ACCEPT
7.编辑下级主机ntp配置文件vim /etc/ntp.conf:把原来的服务器地址注释掉。把自己主节点的服务器地址加上。

在这里插入图片描述

8.把原来ntp停掉:service ntpd stop
9.手动同步一次时间:/usr/sbin/ntpdate 188.104.14.81 (主节点ip)
10.把ntp重新起来:service ntpd start
11.查看状态:ntpstat
12.可以设置下开机自启:chkconfig ntpd on

3、记得查看防火墙和selinux有没有关闭(每台都要关闭,但是只需要主节点reboot):

1.设置SElinux为模式:setenforce 0(宽容模式),其实要改成 Disabled,不过这一步需要把selinux配置文件/etc/selinux/config 的SELINUX=enable 改成disabled,然后要主节点reboot重启,最后才能变成Disabled,记得重启完重新开一下httpd服务
查看工作模式:getenforce

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.bin脚本安装时如果失败:出现0027太高,让你修改0022

在这里插入图片描述

vi /etc/profile
立即生效:source /etc/profile

5、界面集群安装失败:出现主机运行状况不良。

两个方案:
1.在出此状态主机上运行:echo 0 > /proc/sys/vm/swappiness(Cloudera 是建议设置成0的,这个方法有时候有用,一般使用2方法)
2.删除出现此状态主机/var/lib/cloudera-scm-agent的cm_guid文件,重启该节点的agent服务。
操作如下:rm -rf /var/lib/cloudera-scm-agent/cm_guid
service cloudera-scm-agent restart(不行的话再等等,给他一点时间)
ps:这个界面忘了截图了,不过应该执行就行了

ok!完结撒花!break a leg!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值