一般情况,出现这种问题是因为scala和spark的版本不匹配,需要重新下载两者相匹配的版本。
File - Project Structure - Libraies - “+” - java
选择spark目录下jars文件夹
Maven项目,pom.xml文件中添加Spark依赖,需要联网下载,或者本地库中已经下载好依赖包
<!-- 在properties中添加Spark版本 -->
<properties>
<spark.version>2.3.3</spark.version>
</properties>
<!-- 在dependencies中添加Spark组件 -->
<dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>${spark.version}</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>${spark.version}</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.11</artifactId>
<version>${spark.version}</version>
<scope>provided</scope>
</dependency>
</dependencies>
但是当尝试了上面的操作还是无法解决问题时,请打开项目的iml文件,去掉不同版本的scala的orderEntry就能解决。
参考文章:
Spark 运行问题 java.lang.NoSuchMethodError: scala.Predef 解决方案
IDEA安装Spark