博客讲述了在使用Hive执行Hql时遇到的问题，尽管map和reduce阶段都显示100%完成，但最终出现错误。通过分析Hadoop历史服务器日志，发现由于堆溢出和虚拟内存不足导致map任务失败，进而影响reduce任务。博主指出问题关键在于YARN的内存配置，包括虚拟内存检查、物理内存检查、内存比例等，并提供了相应的解决方案。
今天记录一下使用Hql遇到的一个问题map=100%和reduce=100%都执行完了本以为能出结果了，最后突然报了一个Bug，果然生活处处充满着意外与惊喜，这…只能说是有惊无喜
我看到这个Bug之后，查看hive的日志发现，跟执行hive的界面报的是一样，看不出啥东西出来，后来使用hadoop的history：8088查看聚合的日志，发现在UI这里是启动了4个map一个reduce，reduce是没有logs的看来是map没有没有完成，导致reduce无法工作，点进其中的一个map查看日志发现报的错，才是问题的根源，堆溢出了，以及虚拟内存不足的原因导致map被干掉了
重点的几个数字简单做一下详解
110.2 MB of 1 GB
3.7 GB of 2.1 GB virtual memory used. Killing container
1、110.2MB 是这个任务的实际物理内存
2、1GB 是mapreduce.map.memory.mb 设置的 &#
最低0.47元/天 解锁文章
263
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
