为了学习spark和修改源码,最近尝试在windows电脑上编译spark,躺了不少坑,过程如下:
1、下载源码,下载地址在apache社区和github都有,推荐在github下载,我使用的是spark2.4.6版本。
https://github.com/apache/sparkgithub.com![d465a8e96b6818c12581e8f97c0d74e4.png](https://i-blog.csdnimg.cn/blog_migrate/408fe55c6f10404072bcdbf80b98ca9d.png)
![0de61b72c5fc37b485c257c3fbdcdd43.png](https://i-blog.csdnimg.cn/blog_migrate/c347b43a69709835a98566a3448fd4ef.png)
2、下载和安装maven环境
Maven - Download Apache Mavenmaven.apache.org在历史版本里找到3.5.4版本,并下载
![d7cb2e8c1367c137d972985d4606c400.png](https://i-blog.csdnimg.cn/blog_migrate/ac5bfaf0d43c81046152e4708c7f6832.png)
为了学习spark和修改源码,最近尝试在windows电脑上编译spark,躺了不少坑,过程如下:
1、下载源码,下载地址在apache社区和github都有,推荐在github下载,我使用的是spark2.4.6版本。
https://github.com/apache/sparkgithub.com2、下载和安装maven环境
Maven - Download Apache Mavenmaven.apache.org在历史版本里找到3.5.4版本,并下载