hadoop配置job日志记录以及中要配置简单的讲解

web 日志环境变量配置

参考博主

mapred-site.xml

<configuration>
	<!-- 开启MapReduce小任务模式 -->
	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<!-- 设置历史任务的主机和端口 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<!-- 设置网页访问历史任务的主机和端口 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
	
	<!-- 设置运行过的日志存放在hdfs上的存放路径 -->
	<property>
	  <name>mapreduce.jobhistory.done-dir</name>
	  <value>/history/done</value>
	</property>
	<!-- 设置运行中的日志存放在hdfs上的存放路径 -->
	<property>
	  <name>mapreduce.jobhistory.intermediate-done-dir</name>
	  <value>/history/done_intermediate</value>
	</property>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	
	<!-- 单个 maptask、reducetask 可申请内存大小 -->
	<property>
		 <name>mapreduce.map.memory.mb</name>
		 <value>1024</value>
	</property>
	<property>
		 <name>mapreduce.reduce.memory.mb</name>
		 <value>1024</value>
	</property>
	
</configuration>

yarn-site.xml

<!-- 开启日志聚合功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property