在本地编写wordcount打包到集群测试,发生如下错误
原因:hadoop集群采用了Lzo压缩,Spark无法解析
解决办法:修改spark-env.sh 文件 添加两行
export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/opt/module/hadoop-2.7.2/lib/native
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar