Spark 使用过程中遇见的问题

参考：https://blog.csdn.net/SCGH_Fx/article/details/72529132

-------------------------------------------------------------------------------------------------------------------------------------------------------------

1、idea启动出现无效的源发行版：10

解决：intellij：file->project structure->project，Project Language Level，下拉列表选和本机JDK版本一致的，我的JDK1.8，这里选8，ok

 

2、java.lang.ClassNotFoundException: scala.Cloneable

解决：下载scala-sdk

 

3、java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

解决：将hadoop-common-0.23.9.jar复制到lib目录下。

下载链接：http://www.java2s.com/Code/Jar/h/Downloadhadoopcommon0239jar.htm

 

4、java.lang.ClassNotFoundException: org.spark_project.guava.cache.CacheLoader

解决：将spark-network-common_2.11-2.4.4.jar复制到lib目录下。

下载链接：https://www.mvnjar.com/org.apache.spark/spark-network-common_2.11/2.4.4/detail.html

 

5、java.lang.NoClassDefFoundError: org/apache/commons/lang3/SystemUtils

解决：将commons-lang3-3.9.jar复制到lib目录下。

下载链接：https://archive.apache.org/dist/commons/lang/binaries/

 

6、java.lang.NoClassDefFoundError: scala/Product$class

原因：Spark是基于scala 2.11编译的，而环境使用了最新的2.12的scala的编译版本；

解决：重新安装scala 2.11版本

下载链接：https://www.scala-lang.org/download/2.11.12.html

 

7、java.lang.NoClassDefFoundError: org/slf4j/impl/StaticLoggerBinder

解决：将slf4j-simple-1.7.25.jar和slf4j-api-1.7.25.jar复制到lib目录下。

下载链接：https://mvnrepository.co