Spark源码学习——在linux环境下用IDEA看Spark源码

Spark源码学习——在linux环境下用IDEA看Spark源码

本篇文章主要解决的问题
1.Spark在Linux下实验环境的搭建

---

一、Spark源码阅读环境的准备

本文介绍的是Centos下的各项配置方法

下面列举搭建此环境需要的各个组件:

• JDK的安装（JDK1.7）
• Scala的安装
• SBT的安装
• Git的安装
• IDEA的安装

最后根据安装的环境，导入源码，进行源码的学习，整片文章会讲的非常细致，适合新手学习参考。

---

二、JDK的安装

1.在安装CentOS时，系统会自动安装jdk，需要先把它卸载掉，装上自定义的jdk 1.7。

卸载步骤如下：

[root@localhost ~]# rpm -qa|grep jdk
java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64

[root@localhost ~]# rpm -qa|grep gcj
java-1.4.2-gcj-compat-1.4.2.0-40jpp.115  
libgcj-4.1.2-48.el5  

[root@localhost ~]# yum -y remove java java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
[root@localhost ~]# yum -y remove java java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
[root@localhost ~]# yum -y remove java java-1.4.2-gcj-compat-1.4.2.0-40jpp.115  
[root@localhost ~]# yum -y remove libgcj-4.1.2-48.el5

操作完成后，输入java -version后会显示无法查询到Java版本，说明卸载成功。

2.首先从官网下载我们需要的JDK版本，为JDK1.7，
下载链接为：JDK