![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 53
绝命小嘟嘟
这个作者很懒,什么都没留下…
展开
-
spark 2.4 源码编译流程(Windows + maven)
spark 2.4 源码编译流程(Windows + maven) 环境准备 maven 3.5以上 git spark 源码 scala 2.11.x spark pom.xml 文件修改两处 maven版本改成本机环境的版本 scala 版本改成 本机环境的版本 在spark源码目录中打开gitbash 这里编译需要bash环境 如果直接用cmd 进行编译会报错 执行命令 mvn clean package -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.原创 2021-07-29 15:37:42 · 140 阅读 · 0 评论 -
spark 2.4.8 源码阅读环境搭建(sbt方式 windows版 在idea上搭建)
spark 2.4.8 源码阅读环境搭建(windows版 在idea上搭建) 1.安装scala 2.11.8以上版本 此过程略… 在idea上安装scala插件 2. 安装sbt项目搭建工具 sbt项目下载地址(请不要下载 .msi格式安装包 我这里下载的是zip压缩包安装方式) sbt版本我选择 0.13.18,因为spark-2.4.8 的sbt版本是0.13.17,我选用了1.x版本在编译spark时失败了,所以降到0.13.18 https://www.scala-sbt.org/do.原创 2021-07-29 12:37:07 · 324 阅读 · 0 评论