IDEA中Spark源码接口或方法少实现类

最新推荐文章于 2022-05-04 17:11:15 发布

merrily01

最新推荐文章于 2022-05-04 17:11:15 发布

阅读量215

点赞数

分类专栏： spark Spark源码分析报错记录文章标签： spark idea module 源码 override

本文链接：https://blog.csdn.net/merrily01/article/details/111247263

版权

14 篇文章 2 订阅 ¥19.90 ¥99.00

订阅专栏

10 篇文章 0 订阅 ¥19.90 ¥99.00

订阅专栏

7 篇文章 0 订阅

订阅专栏

在IDEA中遇到Spark源码显示接口或方法缺少实现类的问题，通常是由于module引用冲突导致。例如，同时引入了不同Scala版本的Spark模块。解决方法是通过File -> Project Settings -> Modules删除不需要的模块版本，如XX_2.12，以消除版本冲突。

摘要由CSDN通过智能技术生成

1. 现象：

举例说明如：

SparkApplication # start方法，被多个类重写，但有时候点左侧overrides看实现状况时，可能会缺少某几个类的实现调用；

2. 原因：

比如缺少yarn或kubernetes具体类的实现，原因一般是因为Spark项目中module的引用出了问题；我的问题是因为总切换2.4和3.0版本，modules中各个模块同时引入了2.11和2.12版本，module引用冲突导致的；

3. 解决办法：

File -> Project Setting -> Modules -> 将暂时不用的（比如XX_2.12）模块remove掉，即可

关注

专栏目录