5节点 Hadoop +zookeeper 完全分布式集群（HA）

最新推荐文章于 2023-04-10 21:13:42 发布

wjl7813

最新推荐文章于 2023-04-10 21:13:42 发布

阅读量550

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/wjl7813/article/details/79184372

版权

本文详细介绍了如何配置一个5节点的Hadoop完全分布式集群，包括High Availability（HA）设置，其中涉及Master、Slave节点的角色分配，如Namenode、Datanode、Resourcemanager和Journalnode。同时，还提到了使用Zookeeper 3.4.6稳定版作为协调服务，并强调了在集群安装前进行时钟同步、hosts文件检查和防火墙禁用的重要性。

摘要由CSDN通过智能技术生成

主机信息规划

master slave1 slave2 slave3 slave4
namenode 是是否否否
datanode 否否是是是
resourcemanager 是是否否否
journalnode 是是是是是
zookeeper 是是是是是

软件规划

软件版本说明
JDK JDK 1.7 最新稳定
zookeeper zookeeper 3.4.6 稳定版本
hadoop hadoop 2.7.3 稳定版本

集群安装前的检查

时钟同步 date
hosts 文件检查 /etc/hosts
禁用防火墙 chkconfig iptables off

[root@cdh1 software]# cat /etc/hosts | grep cdh
192.168.137.141 cdh1
192.168.137.142 cdh2
192.168.137.143 cdh3
192.168.137.144 cdh4
192.168.137.145 cdh5

[root@cdh1 software]# cat /etc/profile |grep JAVA
############JAVA_HOME##########3
export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

----- 时钟同步检查
查看当前系统时间
date
如果系统时间与当前时间不一致,进行以下操作。
以cdh1 为NTP 服务器端，其他节点的时间以CDH1 的为准

ntpdate pool.ntp.org

# Hosts on local network are less restricted.
restrict 192.168.189.0 mask 255.255.255.0 nomodify notrap

-》第二处修改：将三个服务地址注释掉，因为不是外网不需要
# Use public servers from the pool.ntp.org project.
# Please consider joining the pool
#server 0.centos.pool.ntp.org
#server 1.centos.pool.ntp.org
#server 2.centos.pool.ntp.org
-》第三处修改：添加设置ntp本地服务
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
-》配置完成后，需要重启ntpd服务
service ntpd restart

crontab -e制定定时任务自动同步时间：
##sync time
0-59/10 * * *