应用场景:
hadoop上的软件环境不能满足自己的需求。比如需要python2.7以上的版本,hadoop环境不支持或者需要安装某插件的python版本,hadoop不支持。这种情况下,需要自己上传python包。
首先,将打包好的python包上传至hadoop
hadoop fs -put ./python2.7.tgz hdfs:///home/my/tool/
然后指定cacheArchive: -cacheArchive hdfs:///home/my/tool/python2.7.tgz#python
指定map或者reduce使用的python位置: python/bin/python
举例:
-mapper "./python/bin/python map.py" \
-reducer "./python/bin/python reduce.py" \
-file map.py \