Hadoop集群部署总结

1. HDFS-HA集群配置

1.1 环境准备

（1）修改IP

（2）修改主机名及主机名和IP地址的映射

（3）关闭防火墙

（4）ssh免密登录

（5）安装JDK，配置环境变量等

1.2 规划集群

hadoop102	hadoop103	hadoop104
NameNode	NameNode	NameNode
ZKFC	ZKFC	ZKFC
JournalNode	JournalNode	JournalNode
DataNode	DataNode	DataNode
ZK	ZK	ZK
	ResourceManager
NodeManager	NodeManager	NodeManager

1.3 配置Zookeeper集群

1）集群规划

在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。

2）解压安装

（1）解压Zookeeper安装包到/opt/module/目录下

[user@hadoop102 software]$ tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/

（2）在/opt/module/zookeeper-3.5.7/这个目录下创建zkData

[user@hadoop102 zookeeper-3.5.7]$ mkdir -p zkData

（3）重命名/opt/module/zookeeper-3.4.14/conf这个目录下的zoo_sample.cfg为zoo.cfg

[user@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg

3）配置zoo.cfg文件

（1）具体配置

dataDir=/opt/module/zookeeper-3.5.7/zkData

增加如下配置

#######################cluster##########################

server.2=hadoop102:2888:3888

server.3=hadoop103:2888:3888

server.4=hadoop104:2888:3888

4）集群操作

（1）在/opt/module/zookeeper-3.5.7/zkData目录下创建一个myid的文件

[user@hadoop102 zkData]$ touch myid

添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码

（2）编辑myid文件

[user@hadoop102 zkData]$ vi myid

在文件中添加与server对应的编号：如2

（3）拷贝配置好的zookeeper到其他机器上

[user@hadoop102 module]$ scp -r zookeeper-3.5.7/ user@hadoop103:/opt/module/

[user@hadoop102 module]$ scp -r zookeeper-3.5.7/ user@hadoop104:/opt/module/

并分别修改myid文件中内容为3、4

（4）分别启动zookeeper

[user@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh start

[user@hadoop103 zookeeper-3.5.7]$ bin/zkServer.sh start

[user@hadoop104 zookeeper-3.5.7]$ bin/zkServer.sh start

（5）查看状态

[user@hadoop104 zookeeper-3.5.7]$ bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg

Mode: follower

[user@hadoop104 zookeeper-3.5.7]$ bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg

Mode: leader

[user@hadoop104 zookeeper-3.5.7]$ bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg

Mode: follower

1.4 配置HDFS-HA集群

1）官方地址：Apache Hadoop

2）在opt目录下创建一个ha文件夹

[user@hadoop102 ~]$ cd /opt

[user@hadoop102 opt]$ sudo mkdir ha

[user@hadoop102 opt]$ sudo chown user:user /opt/ha