hadoop完全分布式运行模式---集群配置,集群单点启动

集群配置

集群部署规划

	hadoop102	hadoop103	hadoop103
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

配置集群

1. 配置core-site.xml

[liujh@hadoop102 hadoop]$ vi core-site.xml

在该文件中编写如下配置

<!-- 指定HDFS中NameNode的地址 -->
<property>
		<name>fs.defaultFS</name>
      <value>hdfs://hadoop102:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

2. HDFS配置文件
   配置hadoop-env.sh

[liujh@hadoop102 hadoop]$ vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置hdfs-site.xml

[liujh@hadoop102 hadoop]$ vi hdfs-site.xml

在该文件中编写如下配置

<property>
		<name>dfs.replication</name>
		<value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop104:50090</value>
</property>

3. YARN配置文件
   配置yarn-env.sh

[liujh@hadoop102 hadoop]$ vi yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置yarn-site.xml

[liujh@hadoop102 hadoop]$ vi yarn-site.xml

在该文件中增加如下配置

<!-- Reducer获取数据的方式 -->
<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop103</value>
</property>

4. MapReduce配置文件
   配置mapred-env.sh

[liujh@hadoop102 hadoop]$ vi mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置mapred-site.xml

[liujh@hadoop102 hadoop]$ cp mapred-site.xml.template mapred-site.xml
[liujh@hadoop102 hadoop]$ vi mapred-site.xml

在该文件中增加如下配置

<!-- 指定MR运行在Yarn上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

在集群上分发配置好的Hadoop配置文件

[liujh@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/

查看文件分发情况

[liujh@hadoop103 hadoop]$ cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

集群单点启动

1. 如果集群是第一次启动，需要格式化NameNode

[liujh@hadoop102 hadoop-2.7.2]$ hdfs namenode -format

2. 在hadoop102上启动NameNode

[liujh@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start namenode
[liujh@hadoop102 hadoop-2.7.2]$ jps
3461 NameNode

3. 在hadoop102、hadoop103以及hadoop104上分别启动DataNode

[liujh@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[liujh@hadoop102 hadoop-2.7.2]$ jps
3461 NameNode
3608 Jps
3561 DataNode
[liujh@hadoop103 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[liujh@hadoop103 hadoop-2.7.2]$ jps
3190 DataNode
3279 Jps
[liujh@hadoop104 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[liujh@hadoop104 hadoop-2.7.2]$ jps
3237 Jps
3163 DataNode

简书：https://www.jianshu.com/u/0278602aea1d
CSDN：https://blog.csdn.net/u012387141