【编程语言】Spark Python 部署教程 CentOS 7

一、准备工作

       上一篇博文已经对Spark的安装已经做了很详细的描述，接下来在上一篇博文的基础上对Spark的Python版本的部署做进一步描述。该篇博文假设已经成功执行以下过程：

        1、机器上已经成功安装Python 2.7.x或者3.4.x以上的版本

        2、机器上已经成功安装Spark

        如果您已经成功做完上述工作，接下便可以执行以下步骤。

二、开始部署

1、在机器上启动pyspark（在Spark安装目录下）

      启动master    

#sbin/start-master.sh

      启动slaves

#sbin/start-slaves.sh

      打开pyspark     

#bin/pyspark

      出现以下界面说明Spark安装成功，pyspark解释器可以正常运行。

      有时候pyspark并不能满足我们编程的要求，这时候就需要把pyspark模块添加到Python中。

2、Python中使用pyspark

      （1）检测是否已经加载pyspark模块

       在任意位置输入python，然后输入import pyspark ，若出现以下界面则说明未加载pyspark模块。 

 

      （2）添加pyspark到Python的寻找目录当中

        编辑/etc/profile文件，在文件的末尾添加

#pythonpath 将spark中的pyspark模块添加到python中 
export PYTHONPATH=/user-software/spark-2.0.0-bin-hadoop2.6/python

        保存并更新profile文件       

#source profile

        这样在Python中引入pyspark时便可以找到该模块

       （3）移动py4j

        由于python需要去调用Java的库，所以在$SPARK_HOME/python/下需要添加一个py4j的文件夹。在$SPARK_HOME/python/lib目录下可以找到一个py4j-0.9-src.zip的压缩包，将其解压放到 
$SPARK_HOME/python/目录下。

        （4）测试

         这时在任意位置输入python，然后输入import pyspark ，没有出现任何提示说明加载pyspark模块成功。

         这时便可以在任何地方编写关于pyspark的.py文件。