Hadoop专栏（二）配置历史服务器、日志的聚集、配置文件说明

一、配置历史服务器

置史服务器可以查看MapReduce任务的详情信息，查看日志，定位错误
步骤如下：
1）配置mapred-site.xml

[root@nodetwo logs]# cd $HADOOP_HOME/etc/hadoop
[root@nodetwo hadoop]# vi mapred-site.xml 

<property>
<name>mapreduce.jobhistory.address</name>
<value>nodetwo:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>nodetwo:19888</value>
</property>

2）启动历史服务器

[root@nodetwo hadoop]# cd /opt/install/hadoop
[root@nodetwo hadoop]# sbin/mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /opt/install/hadoop-2.6.0-cdh5.14.2/logs/mapred-root-historyserver-nodetwo.out

3）查看历史服务器是否启动

[root@nodetwo hadoop]# jps
5392 Jps
1857 DataNode
4068 ResourceManager
1767 NameNode
5352 JobHistoryServer
4154 NodeManager
2031 SecondaryNameNode

4）查看jobhistory

http://nodetwo:19888/jobhistory

二、配置日志的聚集

日志聚集概念：应用运行完成以后，将日志信息上传到HDFS系统上。方便查看
开启日志聚集功能步骤：
（1）配置yarn-site.xml

[root@nodetwo hadoop]# cd $HADOOP_HOME/etc/hadoop
[root@nodetwohadoop]$ vi yarn-site.xml

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

（2）关闭nodemanager 、resourcemanager和historymanager

[root@nodetwo hadoop]# sbin/yarn-daemon.sh stop resourcemanager
stopping resourcemanager
[root@nodetwo hadoop]# sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager
[root@nodetwo hadoop]# sbin/mr-jobhistory-daemon.sh stop historyserver
stopping historyserver

（3）启动nodemanager 、resourcemanager和historymanager

[root@nodetwo hadoop]# sbin/yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /opt/install/hadoop-2.6.0-cdh5.14.2/logs/yarn-root-resourcemanager-nodetwo.out
[root@nodetwo hadoop]# sbin/yarn-daemon.sh start nodemanager
starting nodemanager, logging to /opt/install/hadoop-2.6.0-cdh5.14.2/logs/yarn-root-nodemanager-nodetwo.out
[root@nodetwo hadoop]# sbin/mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /opt/install/hadoop-2.6.0-cdh5.14.2/logs/mapred-root-historyserver-nodetwo.out

（4）测试：删除hdfs上已经存在的hdfs文件

[root@nodetwo hadoop]$ bin/hdfs dfs -rm -R /user/hadoop/output

（5）执行wordcount程序

[root@hadoop101 hadoop]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar wordcount /user/hadoop/input /user/hadoop/output

（6）查看日志

http://192.168.202.201:19888/jobhistory

三、配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。
（1）默认配置文件：存放在hadoop相应的jar包中

[core-default.xml]
			hadoop-common-*.jar/ core-default.xml
		[hdfs-default.xml]
hadoop-hdfs-*.jar/ hdfs-default.xml
		[yarn-default.xml]
hadoop-yarn-common-*.jar/ yarn-default.xml
		[mapred-default.xml]
hadoop-mapreduce-client-core-*.jar/ mapred-default.xml

（2）自定义配置文件：存放在$HADOOP_HOME/etc/hadoop

core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml

三、完全分布式运行模式（可自行尝试）

分析：
1）准备3台客户机（关闭防火墙、静态ip、主机名称、创建Hadoop用户），主机名称分别hadoop102，hadoop103，hadoop104
2）安装jdk
3）配置环境变量
4）安装hadoop
5）配置环境变量
6）配置集群
7）单点启动
8）配置ssh
9）群起并测试集群