Hadoop搭建期间的一些注意点(历史服务器、日志聚集)

Hadoop搭建期间的一些注意点

①

配置历史服务器

配置mapred-site.xml

[leedon@hadoop101 hadoop]$ vi mapred-site.xml

启动历史服务器

[leedon@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

查看JobHistory

http://hadoop101:19888/jobhistory

配置信息如下

<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop101:19888</value>
</property>

---

②

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。
配置yarn-site.xml

[leedon@hadoop101 hadoop]$ vi yarn-site.xml

在该文件里面增加如下配置。

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
 
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

---

③

配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。
（1）默认配置文件：

表2-1
要获取的默认文件 文件存放在Hadoop的jar包中的位置

（2）自定义配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

---

④

修改PATH

(为了让新用户的bin目录也可以全局识别 )
对于普通用户也可以设置，自己的路径：在自己的home目录中：

ls -a | grep bash

会找到两个文件： .bashrc 和 .bash_profile
同样可以像修改 /etc/profile一样，修改 .bash_profile 来配置你的个性PATH 环境。
同样修改后，若不重启，就使其立即生效的话，不要忘了 source .bash_profile.