Hadoop配置历史服务器和日志聚集

最新推荐文章于 2024-03-06 16:45:53 发布

酷炜

最新推荐文章于 2024-03-06 16:45:53 发布

阅读量896

点赞数 1

分类专栏：大数据学习

本文链接：https://blog.csdn.net/qq_42250913/article/details/88185188

版权

大数据学习专栏收录该内容

21 篇文章 0 订阅

订阅专栏

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

    1.	配置mapred-site.xml
    [atguigu@hadoop101 hadoop]$ vi mapred-site.xml
    在该文件里面增加如下配置。
    <!-- 历史服务器端地址 -->
    <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop101:10020</value>
    </property>
    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop101:19888</value>
    </property>

启动历史服务器
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
查看历史服务器是否启动
[atguigu@hadoop101 hadoop-2.7.2]$ jps
查看JobHistory
http://hadoop101:19888/jobhistory
4.2.4 配置日志的聚集
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下：

    1.配置yarn-site.xml
    [atguigu@hadoop101 hadoop]$ vi yarn-site.xml
    在该文件里面增加如下配置。
    <!-- 日志聚集功能使能 -->
    <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    </property>
    
    <!-- 日志保留时间设置7天 -->
    <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
    </property>

注意：

在这里插入图片描述
点击History却不能出现下图历史服务器信息
这是因为hadoop里面使用的都是域名，Windows里面识别不了，在C:\Windows\System32\drivers\etc\hosts给他添加上就好了

Hosts是一个没有扩展名的系统文件，可以用记事本等工具打开，其作用就是将一些常用的网址域名与其对应的IP地址建立一个关联“数据库”，当用户在浏览器中输入一个需要登录的网址时，系统会首先自动从Hosts文件中寻找对应的IP地址，一旦找到，系统会立即打开对应网页，如果没有找到，则系统会再将网址提交DNS域名解析服务器进行IP地址的解析。
浏览器访问网站，要首先通过DNS服务器把要访问的网站域名解析成一个唯一的IP地址，之后，浏览器才能对此网站进行定位并且访问其数据。
操作系统规定，在进行DNS请求以前，先检查系自己的Hosts文件中是否有这个域名和IP的映射关系。如果有，则直接访问这个IP地址指定的网络位置，如果没有，再向已知的DNS服务器提出域名解析请求。也就是说Hosts的IP解析优先级比DNS要高。