spark 源代码分析 （一）准备阶段： idea 导入spark 源代码

按计划这几天应该分析zookeeper，结果项目组将我换工作了，以后可能就专门研究开源的代码hbase，我自己想研究spark，提前准备一下，或者以后有更多机会。

spark 研究准备

1）jdk 安装

2）scala 安装

3）spark 安装。

如果想部署一个单机版本，可以安装上面的东西做一些，否则，你可以跳过上面的步骤。

·1）idea 准备，去官网下载一个idea 社区版的。并安装

 

2）打开Idea，安装scala

这个过程可以选择，启动后的plugin里安装

或者去setting里 

 选择在线安装就行。

3） 去github 下载spark master，如果你安装git可以直接下载master ，或者直接下载压缩包。

 

4）安装maven，如果你不知道怎么配置，百度，或者留言

提供一个比较好的miror

5）用idea 打开spark ，配置maven的

 

6）长时间的等待下载依赖包，如果中间出现什么问题可以留言。我基本等了半个多小时。

7） 配置一下jdk

基本可以用了

最后的结果

 

按计划这几天应该分析zookeeper，结果项目组将我换工作了，以后可能就专门研究开源的代码hbase，我自己想研究spark，提前准备一下，或者以后有更多机会。

spark 研究准备

1）jdk 安装

2）scala 安装

3）spark 安装。

如果想部署一个单机版本，可以安装上面的东西做一些，否则，你可以跳过上面的步骤。

·1）idea 准备，去官网下载一个idea 社区版的。并安装

 

2）打开Idea，安装scala

这个过程可以选择，启动后的plugin里安装

或者去setting里 

 选择在线安装就行。

3） 去github 下载spark master，如果你安装git可以直接下载master ，或者直接下载压缩包。

 

4）安装maven，如果你不知道怎么配置，百度，或者留言

提供一个比较好的miror

5）用idea 打开spark ，配置maven的

 

6）长时间的等待下载依赖包，如果中间出现什么问题可以留言。我基本等了半个多小时。

7） 配置一下jdk

基本可以用了

最后的结果