CDH升级Spark2异常java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

建议大家还是去原问博客阅读，样式也好看阅读更方便，本人转载仅为个人查阅

https://blog.csdn.net/mlwise/article/details/104652381

最近为了适配客户版本，搭建了CDH5.16版本的数据数据环境。而默认的Spark是1.6版本的，为配合客户需要升级成Spark2，由于机器资源有限制，先把Spark1.6删除了，下载SPARK2-2.1.0.cloudera3-1.cdh5.13.3.p0.569822-el7.parcel包，进行了安装。安装完成之后，运行Spark的相关命令就报java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream异常，我使用的命令是spark2-submit时报错，其实所有Spark相关命令都是一样的错误。

特别需要注意是：

             使用Spark的命令的机器需要安装Gateway组件，然后需要deploy client configuration(部署客户端配置）。个人认为既然使用CDH Manager，如果还去机器上直接改配置的，那还要CDH Manager干啥？网上有很多答案，都说教人要改这改那的，这命令那么命令的，可能别人也没搞明白为啥会出那样的问题。

错误信息如下：

[root@hadoop60 ~]# spark2-submit
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
        at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:124)
        at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:124)
        at scala.Option.getOrElse(Option.scala:121)
        at org.apache.spark.deploy.SparkSubmitArguments.mergeDefaultSparkProperties(SparkSubmitArguments.scala:124)
        at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:110)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 7 more
[root@hadoop60 ~]# 

解决步骤：

0. 点击spark 图标进入=》点击实例=》添加实例

1. 选择需要使用Spark命令的机器上安装Gateway组件

2. 增加Spark-env.sh的配置export SPARK_DIST_CLASSPATH=${SPARK_DIST_CLASSPATH}:$(hadoop classpath)

输入之后，最好行的末尾回车一下

3. 部署Spark客户端配置，中文版是“部署客户端配置”

4. 如果还不行，可以尝试重启Spark或者集群（我忘记了有没有做这一步）
本人实践：不需要重启集群，执行完第3步就可以了