我们介绍使用eclipse集成开发环境(IDE)来开发Spark应用程序。
Spark Python集成开发环境的安装步骤:
(1)下载与安装eclipse(Mars)
(2)安装scala-ide-4.7.0
(3)安装PyDev
(4)设置字符串代替变量
(5)PyDev设置Python链接库路径
(6)PyDev设置anaconda2链接库路径
(7)PyDev设置Spark Python链接库
(8)PyDev设置环境变量
安装步骤说明:
(1)选择使用eclipse(Mars)版本,我们希望能够在一个开发环境中开发Scala与Python
(2)为了能够在eclipse中开发Python,必须安装PyDev套件
(3)
(4)必须在PyDev设置指定Python2.7链接库的路径
(5)必须在PyDev设置指定anaconda2链接库的路径
(6)当我们使用Spark Python 程序时必须引用Spark Python程序库,所以我们必须设置Spark Python链接库
11.1下载与安装eclipse(Mars)
在master服务器下执行下述命令
11.1.1游览eclipse(Mars)网页
网址:https://www.eclipse.org/downloads/