spark on yarn运行scala单词统计程序出错
java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums
出现这个错误的原因是我spark中的jar包是spark-assembly-1.6.0-hadoop2.6.0.jar,导致我生成的jar包也是针对hadoop2.6.0版本的,而我使用的hadoop版本却是2.5
原创
2016-06-27 14:24:41 ·
426 阅读 ·
0 评论