hadoop核心配置文件

集群部署规划

配置 core-site.xml

cd $HADOOP_HOME/etc/hadoop

vim core-site.xml

添加内容

<configuration>
<!-- 指定 NameNode 的地址 -->
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop102:8020</value>
 </property>
 <!-- 指定 hadoop 数据的存储目录 -->
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/opt/module/hadoop-3.1.3/data</value>
 </property>
 <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
 <property>
 <name>hadoop.http.staticuser.user</name>
 <value>atguigu</value>
 </property>
 </configuration>

配置 hdfs-site.xml

vim hdfs-site.xml

添加内容

<configuration>
<!-- nn web 端访问地址-->
<property>
 <name>dfs.namenode.http-address</name>
 <value>hadoop102:9870</value>
 </property>
<!-- 2nn web 端访问地址-->
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>hadoop104:9868</value>
 </property>
 </configuration>

配置 yarn-site.xml

vim yarn-site.xml

<configuration>
 <!-- 指定 MR 走 shuffle -->
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定 ResourceManager 的地址-->
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop103</value>
 </property>
 <!-- 环境变量的继承 -->
 <property>
 <name>yarn.nodemanager.env-whitelist</name>
 
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value>
 </property>
</configuration>

配置 mapred-site.xml

vim mapred-site.xml

<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

在集群上分发配置好的 Hadoop 配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

配置 workers

vim workers

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

同步所有节点配置文件

xsync /opt/module/hadoop-3.1.3/etc

启动集群

如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode，在hadoop-3.1.3文件下运行

hdfs namenode -format

启动 HDFS

sbin/start-dfs.sh

在配置了 ResourceManager 的节点（hadoop103）启动 YARN

sbin/start-yarn.sh

Web 端查看 HDFS 的 NameNode

浏览器中输入：http://hadoop102:9870

Web 端查看 YARN 的 ResourceManager

浏览器中输入：http://hadoop103:8088

配置历史服务器

vim mapred-site.xml

<!-- 历史服务器端地址 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>hadoop102:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>hadoop102:19888</value>
</property>

分发配置

xsync mapred-site.xml

在 hadoop102 启动历史服务器

mapred --daemon start historyserver

查看 JobHistory

http://hadoop102:19888/jobhistory

配置日志的聚集

开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和
HistoryServer。

配置 yarn-site.xml

vim yarn-site.xml

<!-- 开启日志聚集功能 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property> 
 <name>yarn.log.server.url</name> 
 <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>604800</value>
</property>

分发配置

xsync yarn-site.xml

关闭 NodeManager 、ResourceManager 和 HistoryServer

sbin/stop-yarn.sh

mapred --daemon stop historyserver

启动 NodeManager 、ResourceManage 和 HistoryServer

start-yarn.sh

mapred --daemon start historyserver

删除 HDFS 上已经存在的输出文件

hadoop fs -rm -r /output

执行 WordCount 程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

查看日志

http://hadoop102:19888/jobhistory

参考尚硅谷教程