pyspark打包依赖包&使用python虚拟环境

一、anaconda创建python环境

anaconda创建python环境

在这篇博客中，已经很清楚地描述了如何通过anaconda来创建你需要的python环境：即合适的python版本和包含你需要的依赖包。

二、打包python环境

假设我们的python环境名称为py_env，那么在anaconda的安装目录下，会有这么一个目录：envs/py_env

在Windows下，直接将使用压缩软件，将其压缩为zip文件（但windows的拿到linux取用就不行了）；

在Linux下，zip -r py_env.zip py_env。（必须在py_env文件夹所在的目录下执行，原因如下）

在这里要非常注意：我们是对py_env文件夹进行打包，不能再套上一层文件夹，不然spark会解析出错的

也就是我们只能对py_env进行打包，不能是envs/py_env或者anaconda/envs/py_env。

再换句话说，我们将py_env.zip解压之后，就是py_env文件夹了。

（看到我在这里再三强调，这都是坑呀）

三、上传hdfs

将打包好的py_env.zip上传至hdfs的对应账号目录下，如为root的话，hdfs的目录为/user/root

hdfs dfs -put xxx/py_env.zip /user/xxx/

说明：这一步不是必须的，环境包也可以在本地的。

但是放在本地的话，每次spark-submit运行程序的时候，就会将其上传至hdfs，当作临时文件，执行完毕就删除。

四、spark提交

前语：记清楚我们的python环境名称为py_env；

打包的名称为py_env.zip；

py_env/bin/python是python可执行程序。

最后，到了激动人心的提交时刻了：

client模式

spark-submit --master yarn --deploy-mode client --archives hdfs:///user/root/py_env.zip#PY2 --conf spark.pyspark.driver.python=/xxx/python2.7 --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./PY2/py_env/bin/python /xxx/test.py

–archives hdfs:///user/root/py_env.zip#PY2：将hdfs:///user/root/py_env.zip加入到当前执行环境的根目录下，有点类似java的classpath，然后定向到PY2，即我们访问PY2时，就相当于访问hdfs:///user/root/py_env.zip；

spark.pyspark.driver.python：client模式下，driver端需要使用本地的python环境

spark.yarn.appMasterEnv.PYSPARK_PYTHON：指executor端(任务分配到的节点机器)的python环境指定为我们打包的python环境。

/xxx/test.py：最后的是你的spark程序脚本

cluster模式

spark-submit --master yarn --deploy-mode cluster --archives hdfs:///user/root/py_env.zip#PY2 --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./PY2/py_env/bin/python /xxx/test.py

cluster模式与client不同的就是，driver端是集群根据资源情况分配到某一个节点上；

spark.yarn.appMasterEnv.PYSPARK_PYTHON：diver和executor端都统一使用我们打包的python环境。
==========================================================
如果不行的话，driver端也特地指定一下：
spark-submit --master yarn --deploy-mode cluster --archives hdfs:///user/root/py_env.zip#PY2 --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./PY2/py_env/bin/python --conf spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON=./PY2/py_env/bin/python /xxx/test.py

五、自己的依赖包

如果，你还有自己的一些依赖包或者程序(py文件)，那么可以直接在–py-files参数带上。

比如，一个spark包，一个conifg.py，

spark-submit --master yarn --py-files spark.zip,config.py test.py

在代码中，可以直接import

import config

from spark import preprocess

注意：这里的spark必须是包，即需要有__init__.py
而且需要打包为zip，zip -r spark.zip spark

六、结语

在这里，我们在使用pyspark的时候，就可以自由地添加第三方依赖包了，虽然没有java有maven、scala有sbt那样方便的管理和打包依赖包，但是有个好处就是，可以使用不用于现有的python版本，有利于保持稳定的同时，实现更新迭代。
（网上很多教程都是一个样，全是cluster模式，然后也没说清楚cluster和client模式的区别，无语子！！！）