spark 编译环境搭建

luog_aiyu

于 2021-10-25 00:51:54 发布

阅读量1.2k

点赞数 2

文章标签： spark intellij-idea scala

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/luog_aiyu/article/details/120944110

版权

本文详细介绍了如何搭建Spark源码编译环境，包括确保Java和Scala版本正确，下载Spark源代码，解压并用IDEA导入，取消pom文件中'provided'标签，重新构建项目，添加Scala jar包依赖，以及解决可能出现的问题。在搭建过程中，要注意版本匹配，可能出现的编译错误及解决方案。

摘要由CSDN通过智能技术生成

spark 编译环境搭建（修改源码使用的环境）

可能会出现的问题

第一步:确保环境问题，需要安装1.8.0_282和 2.12.14,（一定要保证版本正确，否则会报错），最好使用相同的版本，不然有可能会报错

网上教程有很多这里就不再赘述

第二步:下载spark的源代码,我使用的是spark3.1.2的版本

网址如下 https://spark.apache.org/downloads.html
在这里插入图片描述

第三步:将下载好的tar包解压并使用idea导入

在这里插入图片描述

这里可能刚打开的时候只有配置文件，需要耐心等待一下

30 seconds later ~~~
这个时候虽然生成了项目但是还是不能运行的，因为spark的部分代码需要后期生成，现在我们拿到的还不是完整的。

第四步注销掉所有 pom文件中所有的 < scope> provided< /scope>(前面加了空格，不这样CSDN无法显示)

解决的报错为: 在这里插入图片描述

在这里插入图片描述

第五步，生成缺失的代码,rebuild 项目

解决报错为: 在这里插入图片描述

这里同样需要等待一会等到进度条拉完,接着重新编译项目

第六步添加scala jar包依赖

在这里插入图片描述
jar包可以在spark的根目录下下载

把jar包全部选中,可以点一下开头的jar包，再按住shift键点一下结尾的jar包，这样中间的jar包就都可以被选中了,然后点ok
在这里插入图片描述

在这里插入图片描述
这样就对对spark-examples_2.12 项目中,里面导入scala依赖

第七步测试编译环境

在这里插入图片描述

之后就可以在spark-examples_2.12 项目编写spark程序，并且可以修改对应的spark源代码在本地进行测试了

可能会出现的问题

如果要是出现了修改了源码但是没有效果的情况，可以删除项目中.idea，然后重新进入项目

PS: 我在我朋友的电脑上按照这个教程没有成功，但在我自己的电脑上这样是可行的，我的朋友和我用的不同的idea版本和不同的java版本，暂时不清楚是不是版本的原因，欢迎私信

关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
spark 编译环境搭建

spark 编译环境搭建第一步:确保环境问题，需要安装java1.8和scala2.1.2,（一定要保证版本正确，否则会报错）第二步:下载spark的源代码,我使用的是spark3.1.2的版本第三步:将下载好的tar包解压并使用idea导入第四步，生成缺失的代码,rebuild 项目第五步添加scala jar包依赖第一步:确保环境问题，需要安装java1.8和scala2.1.2,（一定要保证版本正确，否则会报错）网上教程有很多这里就不再赘述第二步:下载spark的源代码,我使用的是spark3
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。