9.Hadoop_入门_集群配置

集群配置

---

提示：以下是本篇文章正文内容，下面案例可供参考

1.切换到配置文件目录

cd /opt/module/hadoop-3.1.3/
cd etc/hadoop/

2.配置 core-site.xml

vim core-site.xml

按O插入以下内容

<!-- 指定 NameNode 的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-3.1.3/data</value>
</property>

3.配置 hdfs-site.xml

vim hdfs-site.xml

按O插入以下内容

<!-- nn web 端访问地址-->
<property>
	<name>dfs.namenode.http-address</name>
	<value>hadoop102:9870</value>
</property>
<!-- 2nn web 端访问地址-->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>hadoop104:9868</value>
</property>

4.配置 yarn-site.xml

vim yarn-site.xml

按O插入以下内容

<!-- 指定 MR 走 shuffle -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!-- 指定 ResourceManager 的地址-->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop103</value>
</property>
<!-- 环境变量的继承 -->
<property>
	<name>yarn.nodemanager.env-whitelist</name>
	<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

5.配置 mapred-site.xml

vim mapred-site.xml

按O插入以下内容

<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

6.在集群上分发配置好的 Hadoop 配置文件

xsync hadoop/

7.查看103和104 上文件分发情况

cat opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

---

总结

以上就是今天要讲的内容。