那些年离线安装CDH集群的常识坑

1 篇文章 0 订阅
1 篇文章 0 订阅

刚搭了个CDH,记录下CDH的常识却致命的最后导致无法继续搭建的坑。

1、Hadoop集群主机host定义

一定要在hadoop集群的所有机器上都配上ip和主机名,一定是每台主机。
(否则,在集群安装的时候只能识别出一个主节点的主机,失败!)
操作如下:
Vi /etc/hosts
然后添加主机群ip
在这里插入图片描述

2、集群的时钟同步

1.检查主机有没有安装ntp,一般都有自带:rpm -qa|grep ntp
没有的直接yum安装:yum install ntp
2.编辑主节点主机ntp配置文件vim /etc/ntp.conf:
①restrict 188.104.14.80 mask 255.255.255.248 nomodify notrap(可以一个ip,也可以一个网段)
②注释掉以前的服务器地址:加入现在的服务器地址。只不过是本机,一会下级主机也是这么改,不过服务器地址改成主节点主机。

在这里插入图片描述

3.开ntp:service ntpd start
4.搞个开机自启:chkconfig ntpd on
5.查看NTP运行状态:netstat -tlunp | grep ntp
在这里插入图片描述

6.防火墙123端口过滤:/sbin/iptables -I INPUT -p udp --dport 123 -j ACCEPT
7.编辑下级主机ntp配置文件vim /etc/ntp.conf:把原来的服务器地址注释掉。把自己主节点的服务器地址加上。

在这里插入图片描述

8.把原来ntp停掉:service ntpd stop
9.手动同步一次时间:/usr/sbin/ntpdate 188.104.14.81 (主节点ip)
10.把ntp重新起来:service ntpd start
11.查看状态:ntpstat
12.可以设置下开机自启:chkconfig ntpd on

3、记得查看防火墙和selinux有没有关闭(每台都要关闭,但是只需要主节点reboot):

1.设置SElinux为模式:setenforce 0(宽容模式),其实要改成 Disabled,不过这一步需要把selinux配置文件/etc/selinux/config 的SELINUX=enable 改成disabled,然后要主节点reboot重启,最后才能变成Disabled,记得重启完重新开一下httpd服务
查看工作模式:getenforce

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.bin脚本安装时如果失败:出现0027太高,让你修改0022

在这里插入图片描述

vi /etc/profile
立即生效:source /etc/profile

5、界面集群安装失败:出现主机运行状况不良。

两个方案:
1.在出此状态主机上运行:echo 0 > /proc/sys/vm/swappiness(Cloudera 是建议设置成0的,这个方法有时候有用,一般使用2方法)
2.删除出现此状态主机/var/lib/cloudera-scm-agent的cm_guid文件,重启该节点的agent服务。
操作如下:rm -rf /var/lib/cloudera-scm-agent/cm_guid
service cloudera-scm-agent restart(不行的话再等等,给他一点时间)
ps:这个界面忘了截图了,不过应该执行就行了

ok!完结撒花!break a leg!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
. ├── CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel ├── CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 ├── CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 ├── GPLEXTRAS-parcels │   ├── GPLEXTRAS-6.3.2-1.gplextras6.3.2.p0.1605554-el7.parcel │   ├── GPLEXTRAS-6.3.2-1.gplextras6.3.2.p0.1605554-el7.parcel.sha1 │   ├── GPLEXTRAS-6.3.2-1.gplextras6.3.2.p0.1605554-el7.parcel.sha256 │   └── manifest.json ├── allkeys.asc ├── cm6.3.1 │   ├── RPM-GPG-KEY-cloudera │   ├── RPMS │   │   ├── noarch │   │   └── x86_64 │   │   ├── cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm │   │   ├── cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm │   │   ├── cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm │   │   ├── cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm │   │   ├── enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm │   │   └── oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm │   ├── SRPMS │   └── repodata │   ├── 3662f97de72fd44c017bb0e25cee3bc9398108c8efb745def12130a69df2ecb2-filelists.sqlite.bz2 │   ├── 43f3725f730ee7522712039982aa4befadae4db968c8d780c8eb15ae9872cd4d-primary.xml.gz │   ├── 49e4d60647407a36819f1d8ed901258a13361749b742e3be9065025ad31feb8e-filelists.xml.gz │   ├── 8afda99b921fd1538dd06355952719652654fc06b6cd14515437bda28376c03d-other.sqlite.bz2 │   ├── b9300879675bdbc300436c1131a910a535b8b5a5dc6f38e956d51769b6771a96-primary.sqlite.bz2 │   ├── e28836e19e07f71480c4dad0f7a87a804dc93970ec5277ad95614e8ffcff0d58-other.xml.gz │   ├── repomd.xml │   ├── repomd.xml.asc │   └── repomd.xml.key └── manifest.json
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值