spark Yarn模式下 运行wordcount 出现的问题
lzo压缩问题说明:因为之前hadoop集群上配了lzo,spark还没有配置解决:1)找到hadoop配置文件(core-site)将lzo相关的配置注释掉重新运行即可。2)或者在spark中配置lzo。=> spark-env.sh 中添加export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/opt/module/hadoop-2.7....
原创
2019-07-03 19:54:34 ·
370 阅读 ·
0 评论