基于jupyter搭建pyspark编程环境

本文的前提是我们已经在linux系统上基于cdh实现了Spark on Yarn集群的搭建。
python的版本选择上，我们选择python2.7版本，安装方式选择anconda安装，这里就不详细赘述了。

一、pyspark的导入

找到“/opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/lib/spark/python/pyspark”即spark的安装目录下的pyspark
将pyspark整个复制到已安装的python2.7的site-packages目录下，默认路径为“anaconda3/envs/python2/lib/python2.7/site-packages/”

二、jupyter的安装

jupyter的安装非常简单，只需要

sudo pip install jupyter

但是需要注意的是，在安装之前一定要使用“python”在命令行中确认一下目前的环境是否为你要操作的python环境，例如python2.7
如果不是可以使用

source activate python2

切换

三、Jupyter连接pyspark

按照下面内容添加环境变量/etc/profile

export SPARK_HOME=/opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/lib/spark  # spark安装目录
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH #pythonpath指向spark目录下的python文件夹
export PYSPARK_PYTHON=python2 #使用python2
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --ip=0.0.0.0 --port=8888  --allow-root"

让环境变量生效

source /etc/profile

这样，只需要在命令行中启动pyspark，就可以远程编写pyspark代码了。