背景
使用Hadoop streaming + python开发,集群节点的python是python2.6,语法与python2.7略有不同。而我本地和开发机的python版本都是python2.7,考虑到Hadoop streaming支持分发压缩文件到节点,因此打算自己制作一个python2.7的压缩包,上传到HDFS,之后写Hadoop streaming程序都可以使用这个python2.7作为Python解释器
步骤
源码编译安装python2.7到指定目录
假设以下步骤的工作目录位于$PWD
下载python2.7安装包(速度比较慢)
wget https://www.python.org/ftp/python/2.7.14/Python-2.7.14.tgz
解压
tar -xzf Python-2.7.14.tgz
安装三部曲,第三步指定安装到当前工作目录下的python2.7
目录,否则默认安装到/usr/local
目录下,其bin
, lib
, include
, share
会和其他程序混在一起,不利于最小化打包,/
目录空间下也需要sudo权限才能执行各种操作,比较不