hadoop------applog读写流程

1、NodeManager初始化时会先初始化ContainerManagerImpl服务，从而触发LogAggregationService也被初始化，而该服务是用于处理applog的读写流程的。

 

2、LogAggregationService会根据各种事件触发，从而读取本地的container log，然后写到hdfs上的app-log-dir，并删除本地的container log。

 

3、其中每个nodemanager的本地的container-log，是在ContainerLaunch.call中运行container时，调用LogDirsHandlerService来写到本地磁盘的，这个流程可以参照http://rainforc.iteye.com/blog/2287253中的20点所述。

 

应用优化点：默认applog是保存7天才删除，而实际应用过程中可以根据job状态定制自己的job 删除任务。比如运行成功的job log保留1天，失败的才保留七天，这样可以减少hdfs上log存储的数量，节约磁盘空间。这样的改动最好是修改historyserver，因为上面有现成的接口可以获取运行完成的job的状态。

 

整个applog读写流程如下图所示：