windows下搭建Spark1.6源码调试阅读环境

**

零.看源代码宗旨

**
1.有目的性,要知道自己看什么。
2.先看系统流程,知道各个组件功能及交互关系。
3.深入某个组件,比如yarn资源调度平台。
4.准备好纸笔,边看边写边画

一、相关组件及安装顺序

0.默认jdk1.8,java已经安装
1.scala 2.10.6[download](http://www.scala-lang.org/download/2.10.6.html)

 如果是jdk1.7不能支持scala2.12的版本。
 原本是安装的scala2.11.0,但无奈出现错误太多,其中有NoClassFound等等。。。。遂改成与spark1.6.x系列最切合的scala2.10.x系列。

3.SBT 0.13.15download

  运行SBT的安装程序,运行完成后,重新打开windows命令行,输入sbt,检查是否识别此命令。没有的话,手动配置环境变量,添加...\sbt\bin

  运行完SBT的安装程序之后,并不意味着完成了sbt的安装,在windows命令放下输入sbt后,SBT会自动的下载安装它所需要的程序包,请耐心等待全部下载成功。

4.git 2.12.2 download
3.IDEA 2017download
5.解压缩Spark SourceCode 1.6.1 download要选源码

三 如何开始找到spark程序入口?

[参见](http://www.open-open.com/lib/view/1481511790315)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值