配置 JobhistoryServer 历史服务器，日志聚集功能，HDFS 文件系统用户权限检查，取消HDFS警告提示

配置 JobhistoryServer 历史服务器

1. historyServer：查看已经完成的历史作业记录
2. 指定配置属性：mapred-site.xml
   
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop-senior01.ibeifeng.com:10020</value>
</property>


<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop-senior01.ibeifeng.com:19888</value>
</property>

   
3. 启动进程
   sbin/mr-jobhistory-daemon.sh start historyserver

---

日志聚集功能

1. 指定是否开启日志聚集功能

   <property>
   <name>yarn.log-aggregation-enable</name>
   <value>true</value>
   </property>

2. 设置日志在 HDFS 上保留的时间期限

   <property>
   <name>yarn.log-aggregation.retain-seconds</name>
   <value>106800</value>
   </property>

   

3. 配置完成之后，需要重启 YARN 的服务进程，然后重新跑一次任务就可以查
   看过往的日志信息，historyserver 同样也要重启
   
   1. 停止服务：
      
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
sbin/mr-jobhistory-daemon.sh stop historyserver

      
   2. 启动服务：
      
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver

      
4. 浏览日志：
   

---

设置 HDFS 文件系统用户权限检查（不启用）

1. HDFS 文件权限检测
   

2. 设置不启用 HDFS 文件系统的权限检查

   1. 配置hdfs-site.xml

      <property>
      <name>dfs.permissions.enabled</name>
      <value>false</value>
      </property>

      

3. 指定修改 Hadoop 静态用户名 修改 dr.who

   1. 配置core-site.xml

      <property>
      <name>hadoop.http.staticuser.user</name>
      <value>beifeng</value>
      </property>

      

4. 配置之后需要重启 HDFS 相关的进程

   1. 重启进程

      sbin/hadoop-daemon.sh start namenode
      sbin/hadoop-daemon.sh start datanode
      sbin/hadoop-daemon.sh start secondarynamenode

      

---

取消HDFS警告提示

1. 上传编译好的native-2.5.0.tar.gz文件
   
2. 备份原始native，将新上传的native拷贝到hadoop目录下的lib目录中