- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark 2.4 源码编译流程(Windows + maven)
spark 2.4 源码编译流程(Windows + maven) 环境准备 maven 3.5以上 git spark 源码 scala 2.11.x spark pom.xml 文件修改两处 maven版本改成本机环境的版本 scala 版本改成 本机环境的版本 在spark源码目录中打开gitbash 这里编译需要bash环境 如果直接用cmd 进行编译会报错 执行命令 mvn clean package -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.
2021-07-29 15:37:42
140
原创 spark 2.4.8 源码阅读环境搭建(sbt方式 windows版 在idea上搭建)
spark 2.4.8 源码阅读环境搭建(windows版 在idea上搭建) 1.安装scala 2.11.8以上版本 此过程略… 在idea上安装scala插件 2. 安装sbt项目搭建工具 sbt项目下载地址(请不要下载 .msi格式安装包 我这里下载的是zip压缩包安装方式) sbt版本我选择 0.13.18，因为spark-2.4.8 的sbt版本是0.13.17，我选用了1.x版本在编译spark时失败了，所以降到0.13.18 https://www.scala-sbt.org/do.
2021-07-29 12:37:07
324
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人