在使用Eclipse+PyDev+Spark进行测试时,出现 NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream,解决办法如下:
在Spark/conf目录下的spark-env.sh末尾添加:
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
如果对应目录下没有spark-env.sh则将spark-env.sh.template复制为spark-env.sh再修改即可。
在使用Eclipse+PyDev+Spark进行测试时,出现 NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream,解决办法如下:
在Spark/conf目录下的spark-env.sh末尾添加:
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
如果对应目录下没有spark-env.sh则将spark-env.sh.template复制为spark-env.sh再修改即可。