hadoop1.0 TaskTracker因为分布式缓存导致内存泄露的一次问题排查

最新推荐文章于 2023-02-03 18:40:58 发布

置顶

快乐程序员

最新推荐文章于 2023-02-03 18:40:58 发布

阅读量2k

点赞数

分类专栏： hadoop 文章标签： tasktracker 内存泄露分布式缓存

本文链接：https://blog.csdn.net/bigdatahappy/article/details/41597359

版权

本文详细描述了一次由于分布式缓存导致Hadoop 1.0 TaskTracker内存泄漏的问题排查过程。通过检查磁盘空间、进程日志、GC日志和内存映射，发现TaskTracker因老年代内存满而频繁进行Full GC，影响任务执行。进一步分析发现TaskTracker的分布式缓存相关对象数量异常，可能存在问题。通过查找Apache Hadoop的JIRA，确认了这是一个已知问题，并提供了解决方案——在job完成后清理分布式缓存。

摘要由CSDN通过智能技术生成

上周五同事到公司说凌晨的时候有值班同事打电话给他，有部分job卡住了，运行了很长时间都没运行完成，由于是凌晨，他没来得及详细的查看日志，简单的把有问题的tasktracker重启了一下，只有一个节点的TaskTracker进程停掉，让我查一下具体是什么问题。以下是排查过程：

1、登陆到停掉TT进程的处理机

(1)、查看磁盘空间

磁盘没有出现空间不足的情况。

(2)、top查看负载和内存使用情况：

根据上图看出内存和负载都不算高，也不存在僵尸进程。

2、查看进程日志

1、log4j日志：

2014-11-28 06:47:43,813 INFO org.apache.hadoop.mapred.TaskTracker: Trying to launch : attempt_201406171104_5451817_m_001292_0 which needs 1 slots
2014-11-28 06:47:43,813 INFO org.apache.hadoop.mapred.TaskTracker: In TaskLauncher, current free slots : 3 and trying to launch attempt_201406171104_5451817_m_001292_0 which needs 1 slots
2014-11-28 06:47:43,814 INFO org.apache.hadoop.mapred.JvmManager: In JvmRunner constructed JVM ID: jvm_201406171104_5451797_m_-1554592361
2014-11-28 06:47:43,814 INFO org.apache.hadoop.mapred.JvmManager: JVM Runner jvm_201406171104_5451797_m_-1554592361 spawned.
2014-11-28 06:47:43,821 INFO org.apache.hadoop.mapre