Hadoop—— 4.JobHistory

JobHistory用来记录已经finished的mapreduce运行日志,日志信息存放于HDFS目录中,默认情况下没有开启此功能,需要在mapred-site.xml中配置并手动启动。

1. 配置JobHistory
mkdir -pv   data/hadoop/mr-history/{done,mapred/tmp}
vim mapred-site.xml
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
		<description>指定运行mapreduce的环境是yarn,与hadoop1截然不同的地方					
		</description>
	</property>

	<property>
   		<name>mapreduce.jobhistory.address</name>
    	<value>node2:10020</value>
    	<description>MR JobHistory Server管理的日志的存放位置</description>
	</property>

	<property>
    	<name>mapreduce.jobhistory.webapp.address</name>
    	<value>node2:19888</value>
    	<description>查看历史服务器已经运行完的Mapreduce作业记录的web地址,需要启动该服务才行</description>
	</property>

	<property>
   		<name>mapreduce.jobhistory.done-dir</name>
    	<value>/data/hadoop/mr-history/done</value>
    	<description>MR JobHistory Server管理的日志的存放位置,默认:/mr-history/done</description>
	</property>

	<property>
    	<name>mapreduce.jobhistory.intermediate-done-dir</name>
	    <value>/data/hadoop/mr-history/mapred/tmp</value>
    	<description>MapReduce作业产生的日志存放位置,默认值:/mr-history/tmp</description>
	</property>

	<property>
    	<name>mapreduce.map.memory.mb</name>
	    <value>1024</value>
    	<description>每个Map任务的物理内存限制</description>
	</property>

	<property>
    	<name>mapreduce.reduce.memory.mb</name>
	    <value>2048</value>
    	<description>每个Reduce任务的物理内存限制</description>
	</property>

	<!--                                  
	<property>
    	<name>mapreduce.map.java.opts</name>
	    <value>-Xmx1024m</value>
	</property>
                            
	<property>
    	<name>mapreduce.reduce.java.opts</name>
	    <value>-Xmx2048m</value>
	</property>
	-->
</configuration>
 
vim yarn-site.xml 
<property>  
    <name>yarn.log-aggregation-enable</name>  
        <value>true</value>  
        <description>打开HDFS上日志记录功能</description>
</property> 
2. 启动 jobhistory server

mr-jobhistory-daemon.sh start historyserver

————Blueicex 2020/3/14 17:52 blueice1980@126.com

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值