python开发spark_使用PyCharm配置Spark的Python开发环境（基础）

在本地搭建好Spark 1.6.0后，除了使用spark-submit提交Python程序外，我们可以使用PyCharm这个IDE在本地进行开发调试,提升我们的开发效率。配置过程也十分简单，在stackoverflow上搜索到的。同时，IntelliJ IDEA加入Python插件后也可以使用Python开发Spark程序，配置步骤一致。

0.安装PyCharm和py4j

我的系统环境(Ubuntu 14.04.4 LTS)

安装步骤：

Unpack the pycharm-5.0.4.tar.gz using the following command: tar xfz pycharm-5.0.4.tar.gz

Run pycharm.sh from the bin subdirectory

安装py4j：

$ sudo pip install py4j

1.配置Pycharm

打开PyCharm，创建一个Project。

然后选择“Run” ->“Edit Configurations” ->“Environment variables”

增加SPARK_HOME目录与PYTHONPATH目录。

SPARK_HOME:Spark安装目录

PYTHONPATH:Spark安装目录下的Python目录

2.测试Pycharm

运行一个小的Spark程序看看：

"""SimpleApp"""

from pyspark import Sp