谈谈hadoop日志限制的问题

最新推荐文章于 2023-08-02 18:25:13 发布

bxyz1203

最新推荐文章于 2023-08-02 18:25:13 发布

阅读量6.4k

点赞数

分类专栏： hadoop0.19.1

本文链接：https://blog.csdn.net/bxyz1203/article/details/8107125

版权

本文讨论了Hadoop中MapReduce任务的日志限制问题，重点在于mapred.userlog.limit.kb配置如何影响不同类型的MR任务（JavaMR、Streaming、Pipes）。文章分析了syslog、streaming和pipes的日志处理机制，并提到了阿里巴巴版本的特殊限制。建议不要设置过大的日志限制以防止内存溢出，并警告过多的日志输出可能导致磁盘空间耗尽，进而使TaskTracker失效。

摘要由CSDN通过智能技术生成

一、概述

hadoop中主要有三类的MR任务：普通javaMR、streaming、pipes。其中streaming与pipes本质是差不多的，都会创建一个新的进程（除child外的），streaming是基于in、out、err标准输入输出来传递数据的，pipes则是通过socket来传递数据的。要查询他们的具体内容，请google去吧。本文主要讲述他们的日志限制问题。由于他们都是用户自定义的程序，所以往往认为是不可靠的，特别是对磁盘空间的利用，最严重的表现就是写入大量的日志直接把磁盘打满，这样TaskTracker就相当于罢工了。

二、分析

在配置文件中有一个配置项mapred.userlog.limit.kb，默认是0，就是限制用户的日志大小的作用，当配置为10kb的时候，那么任务当写到10k左右的日志的时候就会不再写入日志了。这个参数在三类任务中还是有点差别的。先说出他们之间的关系：

类型\日志 stdout stderr syslog

普通javaMR 官方无限制，阿里巴巴用mapred