今天记录一下使用Hql遇到的一个问题map=100%和reduce=100%都执行完了本以为能出结果了,最后突然报了一个Bug,果然生活处处充满着意外与惊喜,这…只能说是有惊无喜
我看到这个Bug之后,查看hive的日志发现,跟执行hive的界面报的是一样,看不出啥东西出来,后来使用hadoop的history:8088查看聚合的日志,发现在UI这里是启动了4个map一个reduce,reduce是没有logs的看来是map没有没有完成,导致reduce无法工作,点进其中的一个map查看日志发现报的错,才是问题的根源,堆溢出了,以及虚拟内存不足的原因导致map被干掉了
重点的几个数字简单做一下详解
110.2 MB of 1 GB
3.7 GB of 2.1 GB virtual memory used. Killing container
1、110.2MB 是这个任务的实际物理内存
2、1GB 是mapreduce.map.memory.mb 设置的 &#