mapreduce中报类转换异常:ClassCastException

具体报错如下:

java.lang.ClassCastException: // 自定义的类名
	at java.lang.Class.asSubclass(Class.java:3404)
	at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:887)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:1004)
	at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:402)
	at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:81)
	at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:698)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:770)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
	at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:243)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at java.lang.Thread.run(Thread.java:748)

接着debug找出错原因:

将断点打到: at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:887)

getMapOutputKeyClass()这个方法执行没问题,接着执行asSubclass()方法,发现异常是在此方法中抛出来的,那就接着跟进去:

找到的出错的原因,我自定义的类实现了Writable接口,没有实现org.apache.hadoop.io.WritableComparable 接口因而报类转换异常,看到这里,应该也就有解决方法了,让自定义类实现WritableComparable 接口,并实现相应方法即可.

但我这里的错误是因为: getOutputKeyComparator()方法获取我的mapper的输出key类型导致的错误,由于我在驱动类中把:

job.setMapOutputKeyClass(自定义类.class);

 这个给设置错误导致的.我的map阶段的输出的key,应该是字符串而不是自定义的类,所以,改成如下设置:

job.setMapOutputKeyClass(Text.class);

在点到text类中:

此类是实现 了WritableComparable接口的,所以执行上面的getOutputKeyComparator()方法就不会报错.由此而得出结论,map阶段的输出的key一定是要能排序的,即实现WritableComparable接口否则会报类型转换异常.