Hadoop完全分布式配置全过程⑤之集群配置及启动

Hadoop完全分布式配置全过程①之虚拟机前期准备VMware-tools
Hadoop完全分布式配置全过程②之Ubuntu18.04.4环境下配置xsync实现文件的集群分发
Hadoop完全分布式配置全过程③之Ubuntu18.04.4环境下配置JDK1.8.0_144
Hadoop完全分布式配置全过程④之Ubuntu18.04.4环境下配置Hadoop-2.7.2
Hadoop完全分布式配置全过程⑤之集群配置及启动

集群配置

核心文件配置

1. 配置核心文件配置core-site.xml。

<!--指定HDFS中NameNode的地址-->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://<主节点用户名>:9000</value>
</property>
<!--指定Hadoop运行时产生文件的存储路径-->
<property>
	<name>hadoop.tmp.dir</name>
	<value>${HADOOP_HOME}/data/tmp</value>
</property>

HDFS配置文件

1. 配置hadoop-env.sh。
   export JAVA HOME= ...
2. 配置hdfs-site.xml。

<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>
<!--指定Hadoop Secondary NameNode配置-->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value><第三台虚拟机用户名>:50090</value>
</property>

Yarn配置文件

1. 配置yarn-env.sh。
   export JAVA HOME=...
2. 配置yarn-site.xml。

<!--Reducer获取数据的方式-->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!--指定Yam的ResourceManager的地址-->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value><第二台虚拟机用户名></value>
</property>

<property>
	<name>yarn.resourcemanager.webapp.address</name>
	<value><第二台虚拟机ip>:8088</value>
</property>

MapReduce配置文件

1. 配置mapred-env.sh。
   export JAVA HOME= ...
2. 把mapred-site.xml.template 复制为.xml。
   cp mapred-site.xml.template mapred-site.xml
3. 配置mapred-site.xml。

<!--指定MR运行在Yarn上-->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

xsync向集群中其他节点分发配置好的文件

集群启动

群启集群配置

1. 群启集群需要在${HADOOP_HOME}/etc/hadoop中配置slaves文件，增加三个节点的用户名，该文件添加内容结尾不允许空格或空行， 然后 xsync 分发。

群启/关闭集群命令

1. 启动：在主节点启动dfs${HADOOP_HOME}/sbin/start-dfs.sh，在第二台虚拟机启动yarn${HADOOP_HOME}/sbin/start-yarn.sh。
2. 通过jps命令查看各节点启动情况。
3. 关闭：在主节点关闭dfs${HADOOP_HOME}/sbin/stop-dfs.sh，在第二台虚拟机关闭yarn${HADOOP_HOME}/sbin/stop-yarn.sh。