Linux配置Python Spark集成开发环境IDE

在linux中使用eclipse配置可运行scala和python的应用环境，之前自己在配置的时候遇到了elipse中pydev下载慢和不显示的情况，弄了很久才解决，所以写篇文章记录一下。

下载eclipse scala IDE

访问其官网：

http://scala-ide.org/

直接点击主页的Dowload IDE,选择下载linux的最新版（现在是4.7.0）

我们注意到requirements要求运行环境JDK 8 ，这个等会再配置

下载后得到文件scala-SDK-4.7.0-vfinal-2.12-linux.gtk.x86_64.tar.gz

我们可以将其放在linux中好找的位置，方便后面的解压运行

解压有两种方法：

第一种我们可以直接双击它然后使用extract解压到指定的位置

第二种是在shell中切换到文件所在目录运行tar -zxvf scala-SDK-4.7.0-vfinal-2.12-linux.gtk.x86_64.tar.gz命令解压

这里为了方便我们直接双击解压然后放到当前目录下：

可以看到多出了一个eclipse文件夹，后面eclipse运行就不再需要之前的压缩包了所以我们可以将其删除

进入解压后的文件夹eclipse，点击eclipse来运行

因为我们没有配置之前提到的要求jdk 8，所以会出现报错

下载jdk 8

访问

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

点击jdk-8u351-linux-x64.tar.gz进行下载

下载后在压缩包所在路径运行命令

sudo tar -zxvf jdk-8u351-linux-x64.tar.gz -C /usr/local/java

-C后的参数是解压后的路径，也可以解压到其他位置，如果是解压到我这里的位置注意在命令前加sudo

解压后效果如下：

再次运行eclipse

再次运行eclipse，还是不成功，因为我们没有让两者关联起来：

于是我们使用shell切换到elclipse的目录

然后mkdir jre创建jre文件夹

在使用

sudo ln -s jre /usr/local/java/jdk1.8.0_351/bin

将jdk8和eclipse关联起来，前面的参数是我们刚刚将jdk8所解压到的目录

再次运行eclipse，成功：

随便选择一个工作目录就来到eclipse主界面了：

下载pydev

这里就是重点了

点击help -> install new software

点击add

在name和location分别输入

pydev和

https://www.pydev.org/update_sites/8.1.0

这里注意使用http和8.1.0，因为其他版本都可能出现下载过慢等问题

选择pydev然后点击next

这里可能会卡住，卡在Calculating requirements and dependencies

我们可以点击停止然后取消勾选contact all update sites during install to find required software

再一路next，最后同意协议就finish了

点击右下角可以查看下载进度，还是很快的，这就是为什么我们强调8.1.0的原因

中途有一个弹窗，点击intall anyway继续安装

最后重启就大功告成了

然后在windows ->preferences就可以看到pydev选项了