intellij idea直接编译spark源码及问题解决

最新推荐文章于 2023-10-16 11:14:24 发布

tanglizhe1105

最新推荐文章于 2023-10-16 11:14:24 发布

阅读量1.1w

点赞数 5

分类专栏： Spark scala 文章标签： spark idea scala intellij idea 源码

本文链接：https://blog.csdn.net/tanglizhe1105/article/details/50530104

版权

本文介绍了在IntelliJ IDEA中编译Spark源码的详细步骤，包括安装Scala插件，打开项目并等待依赖下载。在编译过程中遇到的Spark build error 1、2、3的解决方法分别给出，如手动更新Maven项目获取缺失源文件，设置模块源代码路径，以及使用Rebuild Project解决重复编译问题。

摘要由CSDN通过智能技术生成

Intelij IDEA编译spark源码过程

下在spark源码包，解压
intellij安装scala plugin
使用intellij ieda open project功能打开源码文件夹

此后，idea会自动下载所有的依赖包，下载完后 build -> Make Project 即可编译！！

推荐使用新版本的ieda,建议本机预先安装sbt环境,将sbt所需文件下载好
sbt的安装配置参见：http://blog.csdn.net/tanglizhe1105/article/details/50528801
sbt建立intellij ieda工程参见：http://blog.csdn.net/tanglizhe1105/article/details/50528824

Spark build error 1

D:\spark-1.6.0\external\flume-sink\src\main\scala\org\apache\spark\streaming\flume\sink\SparkAvroCallbackHandler.scala
Error:(45, 66) not found: type SparkFlumeProtocol
  val transactionTimeout: Int, val backOffInterval: Int) extends SparkFlumeProtocol with Logging {
                                                                 ^
Error:(