MapReduce Unable to initialize MapOutputCollector org.apache.hadoop.mapred.MapTask$MapOutputBuffer

问题

Unable to initialize MapOutputCollector org.apache.hadoop.mapred.MapTask$MapOutputBuffer

详细问题

笔者执行MapReduce作业控制台报错，报错信息如下:

Unable to initialize MapOutputCollector org.apache.hadoop.mapred.MapTask$MapOutputBuffer
2024-04-26 12:45:24,377 WARN [org.apache.hadoop.mapred.MapTask] - Unable to initialize MapOutputCollector org.apache.hadoop.mapred.MapTask$MapOutputBuffer
java.lang.ClassCastException: class java.lang.Integer
	at java.lang.Class.asSubclass(Class.java:3404)
	at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:887)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:1004)
	at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:402)
	at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:81)
	at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:698)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:770)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
	at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:243)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
2024-04-26 12:45:24,379 INFO [org.apache.hadoop.mapred.LocalJobRunner] - map task executor complete.
2024-04-26 12:45:24,381 WARN [org.apache.hadoop.mapred.LocalJobRunner] - job_local1032931133_0001
java.lang.Exception: java.io.IOException: Initialization of all the collectors failed. Error in last collector was :class java.lang.Integer
	at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
	at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)
Caused by: java.io.IOException: Initialization of all the collectors failed. Error in last collector was :class java.lang.Integer
	at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:414)
	at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:81)
	at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:698)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:770)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
	at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:243)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.ClassCastException: class java.lang.Integer
	at java.lang.Class.asSubclass(Class.java:3404)
	at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:887)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:1004)
	at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:402)
	... 10 more
2024-04-26 12:45:25,256 INFO [org.apache.hadoop.mapreduce.Job] - Job job_local1032931133_0001 running in uber mode : false
2024-04-26 12:45:25,257 INFO [org.apache.hadoop.mapreduce.Job] -  map 0% reduce 0%
2024-04-26 12:45:25,258 INFO [org.apache.hadoop.mapreduce.Job] - Job job_local1032931133_0001 failed with state FAILED due to: NA
2024-04-26 12:45:25,262 INFO [org.apache.hadoop.mapreduce.Job] - Counters: 0

Process finished with exit code 1

解决方案

1、在Map文件类中确定Map输出键的类型

context.write(outKey, outValue);

outKey对象数据类型即为Map输出键的类型，此处以String 类型为例。
2、在驱动文件类中
将

job.setMapOutputKeyClass(Integer.class);        

修改为

import org.apache.hadoop.io.Text;
job.setMapOutputKeyClass(Text.class);              

除String 类型对应的Text类
其余类型对应封装类

问题产生的原因

报错日志显示，当尝试初始化MapOutputCollector，特别是
org.apache.hadoop.mapred.MapTask$MapOutputBuffer时，发生了java.lang.ClassCastException。这个异常通常意味着代码试图将某个对象强制转换为不兼容的类型。

在这个具体的例子中，错误是在尝试获取输出键的比较器时发生的，如下所示：

java.lang.ClassCastException: class java.lang.Integer
	at java.lang.Class.asSubclass(Class.java:3404)
	at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:887)

JobConf.getOutputKeyComparator()方法期望返回一个比较器，它应该能够比较Map阶段输出的键。然而，由于某种原因，这个比较器并不与实际的Map输出键类型相匹配，导致了类型转换异常。

在Hadoop的MapReduce作业中，Map阶段输出的键和值的类型必须明确指定，以便框架能够正确地处理数据。如果这些类型不匹配，或者比较器不兼容，就会导致类似的异常。

问题解决原因

解决这个问题的方法是确保Map输出键的类型与比较器兼容。在这种情况下，原来的作业配置是将Map输出键的类型设置为Integer.class：

job.setMapOutputKeyClass(Integer.class);

然而，这个类型与实际的比较器或作业的其他部分不兼容。通过将Map输出键的类型改为Text.class，确保了类型的一致性：

job.setMapOutputKeyClass(Text.class);

Text是Hadoop API中用于文本数据的类，通常是MapReduce作业中使用的默认键类型，因为它兼容Hadoop的默认比较器。这个改变意味着现在Map阶段输出的键将被视为文本数据，而不是整数。

这个修改修复了类型不匹配的问题，因此MapReduce作业能够成功初始化MapOutputCollector，并继续执行后续的任务。