Hive mapreduce报错：java.io.IOException: Split metadata size exceeded 10000000

最新推荐文章于 2024-02-26 17:53:32 发布

二十六画生的博客

最新推荐文章于 2024-02-26 17:53:32 发布

阅读量1.8k

点赞数

分类专栏： Hive Spark Hadoop MapReduce 文章标签： Hive split metadata size exceeded

本文链接：https://blog.csdn.net/u010002184/article/details/112647543

版权

Hive Spark Hadoop MapReduce 专栏收录该内容

162 篇文章 3 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

当执行Hive SQL遇到'java.io.IOException: Split metadata size exceeded 10000000'错误时，原因是job.splitmetainfo文件大小超过默认限制。解决方法是在mapred-site.xml中将'mapreduce.job.split.metainfo.maxsize'参数增大，如设置为200M，并重启相关组件。

摘要由CSDN通过智能技术生成

mapreduce报错：java.io.IOException: Split metadata size exceeded 10000000

一、问题现象

客户在用hive sql做几张表的组合分析，使用mr引擎。因为其中有一张表超过5万个分区，数据总量超过8千亿条，因此运行过程中出现失败，报错如下所示：

org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl: 
Job init failed org.apache.hadoop.yarn.executions.YarnRuntimeException: 
java.io.IOException:Split metadata size exceeded 10000000. Aborting job job_1558160008053_0002

根据报错，分析得到出错原因：该job的job.splitmetainfo文件大小超过限制；

从hadoop源码里面可以查询到，是因为 mapreduce.job.split.metainfo.maxsize 参数默认设置1千万导致的。

为什么采用默认的1千万还不够呢？这就要从 mapreduce.job.split.metainfo.maxsize 参数的含义说起：