本文分析了Hadoop中用户日志丢失的原因，主要与`mapred.userlog.limit.kb`配置有关。当用户日志大小超过限制时，会引发内存溢出或日志丢失。通过TaskLogAppender的逻辑，当tail队列超过最大事件数时，旧的日志会被删除。为解决此问题，建议放宽用户端的日志控制，并采用crontab脚本定期管理userlog大小。
之前有一篇文章，分析Hadoop日志限制(http://blog.csdn.net/bxyz1203/article/details/8107125)
文章仔细分析了MR中Java,Streaming,pipes三种Job方式对Log日志的限制情况
在实际使用中，我们发现用户自定义输入的log太多，userlog硬盘增大，导致磁盘过满，影响TaskTracker执行
由此我们用mapred.userlog.limit.kb限制了userlog的大小为10M，但这样同样可个问题，限制userlog大小后，这个10M
的大小将被加载至内存当，如果用户需求输出的日志过大，则会导致内存溢出的问题，但是做限制，会出现用户日志丢失
文章仔细分析了MR中Java,Streaming,pipes三种Job方式对Log日志的限制情况
在实际使用中，我们发现用户自定义输入的log太多，userlog硬盘增大，导致磁盘过满，影响TaskTracker执行
由此我们用mapred.userlog.limit.kb限制了userlog的大小为10M，但这样同样可个问题，限制userlog大小后，这个10M
的大小将被加载至内存当，如果用户需求输出的日志过大，则会导致内存溢出的问题，但是做限制，会出现用户日志丢失
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
