Hadoop学习-配置日志聚集服务、hadoop服务一键启动脚本

日志聚集概念:应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。

日志聚集功能好处:可以方便的查看到程序运行详情，方便开发调试。

注意:开启日志聚集功能，需要重新启动 NodeManager、ResourceManager和HistoryServer 。

1、配置yarn-site.xml

vim yarn-site.xml

在该文件里面增加如下配置。

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 设置日志聚集服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>

<!-- 设置日志保留时间为 7 天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

同时分发配置到其他服务器

一键启动脚本

#! /bin/bash

if [ $# -lt 1 ]
then
    echo  "No Args Input..."
    exit;
fi

case $1 in
"start')
        echo "===========启动hadoop集群======="
        ssh hadoop102 "/opt/..../sbin/start-dfs.sh"      #hdfs的绝对启动路径
        ssh hadoop103 "/opt/.../sbin/start-yarn.sh"
        ssh hadoop102 "/opt/.../bin/mapred --daemon start historyserver"
;;
"stop")
        ssh hadoop102 "/opt/.../mapred --daemon stop historyserver"
        ssh hadoop103 "/opt/.../sbin/stop-yarn.sh"
        ssh hadoop102 "/opt/.../sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac