CDH Spark java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
在启动pyspark2（CDH版本）时：
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
网上搜索到的解决办法是：
在Spark的spark-env.sh文件中添加下面语句：
export SPARK_DIST_CLASSPATH=$(hadoop ...
原创
2019-03-16 21:04:14 ·
5788 阅读 ·
2 评论
关注
分享
扫一扫