hadoop 版本: cdh3
本地模式运行报以下异常,cluster模式下正常
org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.FileSplit
原因:
本地模式时:配置项mapred.mapper.new-api 为 false,cluster模式时为true
当值为false时,hadoop会以OLD模式运行,haodop就会试图把新的FilSplit 转为老的FileSplit, 就会发生以上异常
解决办法:
在mapred-site.xml增加以下配置:
<property>
<name>mapred.mapper.new-api</name>
<value>true</value>
</property
FileSplit cannot be cast Exception
最新推荐文章于 2024-06-13 13:37:57 发布