配置临时文件存储路径、历史服务器、日志的聚集

配置临时文件存储路径
1） 停止进程

sbin/yarn-daemon.sh stop nodemanager
sbin/yarn-daemon.sh stop resourcemanager
sbin/hadoop-daemon.sh stop datanode
sbin/hadoop-daemon.sh stop namenode

2） 修改 hadoop.tmp.dir
[core-site.xml]

<!-- 指定 hadoop 运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

3） 将/opt/module/hadoop-2.7.2 路径中的 logs 文件夹删除掉

rm -rf logs/

4） 进入到 tmp 目录将 tmp 目录中 hadoop-joker 目录删除掉

cd /tmp/
 rm -rf hadoop-joker/

5） 格式化 NameNode

hadoop namenode -format

6） 启动所有进程

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

7） 查看/opt/module/hadoop-2.7.2/data/tmp 这个目录下的内容。

配置历史服务器
1） 配置 mapred-site.xml

cd etc/hadoop/
vim mapred-site.xml 
#加入
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop101:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop101:19888</value>
</property>

2） 查看启动历史服务器文件目录：

ls sbin/ | grep mr
mr-jobhistory-daemon.sh

3） 启动历史服务器

[root@hadoop101 hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2
sbin/mr-jobhistory-daemon.sh start historyserver

4） 查看历史服务器是否启动

jps
3534 JobHistoryServer

5） 重新执行mr

hadoop fs -rm -r /user/joker/output
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/joker/input/ /user/joker/output

6） 查看 jobhistory

http://192.168.25.101:19888/jobhistory

配置日志的聚集
日志聚集概念： 应用运行完成以后，将日志信息上传到 HDFS 系统上。
开启日志聚集功能步骤：
1） 停止进程

sbin/yarn-daemon.sh stop nodemanager
sbin/yarn-daemon.sh stop resourcemanager
sbin/hadoop-daemon.sh stop datanode
sbin/hadoop-daemon.sh stop namenode
sbin/mr-jobhistory-daemon.sh stop historyserver

2） 配置 yarn-site.xml

vim etc/hadoop/yarn-site.xml
#加入配置文件
<!-- 日志聚集功能使能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置 7 天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

3） 启动进程

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager
sbin/yarn-daemon.sh start resourcemanager
sbin/mr-jobhistory-daemon.sh start historyserver

4） 删除 hdfs 上已经存在的 hdfs 文件，并执行 wordcount 程序

hadoop fs -rm -r /user/joker/output

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/joker/input/ /user/joker/output

5） 查看日志