Apache Hadoop 完全分布式集群搭建（三）----集群配置

文章内容输出来源：拉勾教育大数据高薪训练营

Hadoop 集群配置 = HDFS 集群配置 + MapReduce 集群配置 + Yarn 集群配置

 

HDFS集群配置

1、将JDK路径明确配置给HDFS（修改hadoop-env.sh）

vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/hadoop-env.sh

2、指定NameNode节点以及数据存储目录（修改core-site.xml）

vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://centos7-1:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>
</property>

3、指定SecondaryNameNode节点（修改hdfs-site.xml）

vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

<!-- 指定Hadoop辅助名称节点主机配置 -->
 <property>
<name>dfs.namenode.secondary.http-address</name>
 <value>centos7-3:50090</value>
</property>
 <!--副本数量 --
<property>
<name>dfs.replication</name>
 <value>3</value>
 </property>
 

4、指定DateNode从节点（修改/etc/hadoop/slaves文件，每个节点配置占一行信息）

vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/slaves

MapReduce集群配置

1、将JDK路径明确配置给MapReduce（修改mapred-env.sh）

vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/mapred-env.sh

2、指定MapReduce计算框架运行Yarn资源调度框架（修改mapred-site.xml）

vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml

<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

Yarn集群配置

1、将JDK路径明确配置给Yarn（修改yarn-env.sh）

vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/yarn-env.sh

2、指定ResourceManager老大节点所在计算机节点（修改yarn-site.xml）

vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/yarn-site.xml

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>centos7-3</value>
</property>
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
 

3、指定NodeManager节点（会通过slaves文件内容确定）

     HDFS集群配置中已修改

注意：

Hadoop 安装目录所属用户和所属用户组信息，默认是 501 dialout ，而我们操作 Hadoop 集群的用户使

用的是虚拟机的 root 用户，

所以为了避免出现信息混乱，修改 Hadoop 安装目录所属用户和用户组！！

chown -R root:root /opt/lagou/servers/hadoop-2.9.2