Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream、spark节点无法正常提交任务
处理方法:
- 使用CDH在当前节点新增spark-gateway节点(需重新部署客户端生效)
- 修改spark-env.sh配置文件
处理方法2:
#编辑spark-env.sh
vim /opt/cloudera/parcels/CDH/lib/spark/conf/spark-env.sh
#文件末尾添加
export SPARK_DIST_CLASSPATH=$(/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop classpath)
/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop
以上路径为笔者所使用CDH-hadoop所在路径,
路径请替换为你实际安装的hadoop路径