Hadoop集群中的自定义Python环境

1. 新建纯净版的虚拟环境
   virtualenv --no-site-packages venv
2. 修改虚拟环境为可迁移状态
   virtualenv --relocatable venv
3. 激活虚拟环境
   source venv/bin/activate
4. 虚拟环境安装包
   pip install <package> -i <url>
5. 退出虚拟环境
   deactivate
6. 打包虚拟环境(.zip/.tar.gz/.jar等)
   tar -czf python.tar.gz
7. 上传虚拟环境至HDFS
   hdfs dfs -put python.tar.gz ./
8. 虚拟环境引用路径(本地文件/HDFS)
   HADOOP_PYTHON_BIN="hdfs:///user/{user_name}/python.tar.gz#python"
9. 虚拟环境解释器路径
   ./python/venv/bin/python
10. 虚拟环境lib配置环境变量
    LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:./python/venv/lib

注：推荐使用pipenv创建以及管理虚拟环境。