如何在mapreduce上使用第三方的Python库

如何在mapreduce上使用第三方的Python库

streaming简单介绍

streaming就是将一些非java例如Python的文件放到mapreduce上执行，虽然效率可能不如原生的Java好，但是可以放心的写python脚本处理文件，而mapreduce只是一个辅助的工具,具体的使用可以参照官方文档

$HADOOP_HOME/bin/hadoop  streaming -D mapred.job.priority='VERY_HIGH' -D mared.job.map.capacity=500 
-D mapred.reduce.tasks=0  -D mapred.map.tasks=500
    -input myInputDirs(你得HDFS路径) 
    -output myOutputDir(你的HDFS路径) 
    -mapper "python  yourpythonfile.py"
    -reducer "python  yourpythonfile.py"
    -file yourpythonfile.py(需要几个就添加几个-file)
    -cacheArchive "/xx/xx/xx/myvp.tar.gz#myvp"(此处是一个HDFS路径，稍后用到)

使用第三方库

需要使用第三方库如bs4,numpy等时，需要用到虚拟环境virtualenv

virtualenv的使用

安装

pip install virtualenv

新建虚拟环境

virtualenv myvp

使得虚拟环境的路径为相对路径

virtualenv --relocatable myvp

激活虚拟环境

source myvp/bin/activate

如果想退出，可以使用下面的命令

deactivate

激活后直接安装各种需要的包

pip install XXX

压缩环境包

tar -czf myvp.tar.gz myvp

在mapreduce上使用

在上面的脚本中可以看到使用了-catchArchive，但是路径是HDFS的路径，因此需要提前将本地的myvp.tai.gz包上传到HDFS上。
同时#后面的myvp是文件的文件夹，解压后还有一个myvp(因为压缩的时候把文件夹本身也压缩进去了),所有map中使用的时候的路径就是myvp/myvp/bin/…
在map的python脚本中加入如下的代码，会把第三方库加入到python 路径

import sys
sys.path.append("myvp/myvp/lib/python2.7")

这样就能使用到了这个文件夹底下的包，而不需要再map中使用source命令激活