MapReduce多线程下的错误

最新推荐文章于 2020-05-30 11:13:44 发布

weixin_30527551

最新推荐文章于 2020-05-30 11:13:44 发布

阅读量111

点赞数

文章标签： java 大数据

原文链接：http://www.cnblogs.com/sh91/p/3410442.html

版权

最近在写一个MR调度程序，在以服务进程中同时开启了两个MapReduce线程。这两个MR共享同一份输入源，此时会造成Cast异常：
 
  java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.InputSplit 
 
  at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java: 
  412 
  ) 
 
  at org.apache.hadoop.mapred.MapTask.run(MapTask.java: 
  372 
  ) 
 
  at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java: 
  212 
  ) 
 
   查资料发现MR不支持多线程。所以将此2个MR合并为同一个调度，待第一个调度waitForCompletion(true)后，再调度第二个MR。串行调度。便可解决此问题。