Hadoop-2.9.2版本完全分布式部署

服务器分布说明

hadoop01	hadoop02	hadoop03
NN1	NN2	-
ZKFC	ZKFC	-
JN	JN	JN
ZK	ZK	ZK
DN	DN	DN

部署步骤

检查阶段

1. 检查环境是否安装了JDK、Zookeeper、Hadoop。
2. 检查Hosts文件是否做了IP和主机名的映射关系
3. 检查免密登录是否完成，测试三台服务器之间是否可以免密登录。
4.检查主机是否修改了主机名。

部署阶段

需要修改的配置文件在$HADOOP_HOME/etc/hadoop目录下

hadoop-env.sh

export JAVA_HOME=/home/software/jdk1.8.0_131
export HADOOP_CONF_DIR=/home/software/hadoop-2.9.2/etc/hadoop

core-site.xml

<configuration>
<!--指定hdfs的nameservice，为整个集群起一个别名-->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://ns</value>
</property>

<!--指定Hadoop数据存放目录-->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/software/hadoop-2.9.2/tmp</value>
</property>

<!--指定Zookeeper的地址-->
<property>
  <name>ha.zookeeper.quorum</name>
  <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<!--执行HDFS