Mapreduce报错：Split metadata size exceeded 10000000

最新推荐文章于 2024-02-26 17:53:32 发布

weixin_33937913

最新推荐文章于 2024-02-26 17:53:32 发布

阅读量1.4k

点赞数

文章标签：大数据 java python

原文链接：https://my.oschina.net/u/2000675/blog/3002737

版权

博客内容讲述了MapReduce中遇到的错误——Split metadata size exceeded 10000000，该错误源于job.splitmetainfo文件大小超过了默认限制10MB。此文件存储了split的元数据信息，包括HDFS块和从属节点的映射。解决办法是调整参数mapreduce.jobtracker.split.metainfo.maxsize。

摘要由CSDN通过智能技术生成

2019独角兽企业重金招聘Python工程师标准>>>

报错信息

Failure Info:Job initialization failed: java.io.IOException: Split metadata size exceeded 10000000.   
Aborting job job_201205162059_1073852 at   
org.apache.hadoop.mapreduce.split.SplitMetaInfoReader.readSplitMetaInfo(SplitMetaInfoReader.java:48) at   
org.apache.hadoop.mapred.JobInProgress.createSplits(JobInProgress.java:817) at   
org.apache.hadoop.mapred.JobInProgress.initTasks(JobInProgress.java:711) at   
org.apache.hadoop.mapred.JobTracker.initJob(JobTracker.java:4028) at   
org.apache.hadoop.mapred.EagerTaskInitializationListener$InitJob.run(EagerTaskInitializationListener.java:79) at   
java.util.concurrent.ThreadPoo