python二进制文件编辑_编译自定义Python二进制程序

工作中需要自行编译一个Python二进制程序，并尽量减少该程序依赖的库文件，使之在相同CPU架构上有更良好的可移植性。先找了下网上的资料，都不太详尽，经过探索最终还是成功了，这里记录一下过程以备忘。

过程记录

查阅Python27源码中的setup.py文件，发现Python核心仅依赖glibc，c++等标准库，因此按以下默认的编译命令即可编译出依赖较少的Python二进制程序了。# 安装必要的编译工具链

sudo yum install -y gcc make gcc-c++ glibc-static libstdc++-static

curl -O https://www.python.org/ftp/python/2.7.13/Python-2.7.13.tgz

tar -xf Python-2.7.13.tgz && cd Python-2.7.13

# 注意这里添加了选项静态链接libgcc和libstdc++

LDFLAGS="-static-libgcc -static-libstdc++" ./configure --prefix=/usr/local/python27 --with-cxx-main=/usr/bin/g++

make -j4 > make.log

make install

我用ldd命令检查下Python二进制程序依赖的库文件：[root@centos-linux-7 deps]# ldd /usr/local/python27/bin/python

linux-vdso.so.1 => (0x00007fff78de8000)

libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f8b2253a000)

libdl.so.2 => /lib64/libdl.so.2 (0x00007f8b22336000)

libutil.so.1 => /lib64/libutil.so.1 (0x00007f8b22133000)

libm.so.6 => /lib64/libm.so.6 (0x00007f8b21b2a000)

libc.so.6 => /lib64/libc.so.6 (0x00007f8b21547000)

/lib64/ld-linux-x86-64.so.2 (0x00007f8b22756000)

发现依赖的库文件确实都是系统核心库文件，大部分Linux系统上均有这些库文件，因此可以断定将编译好的python程序拷贝到其它Linux系统上是可以执行的。

但我发现Python程序的执行并不是只使用了python这个二进制程序，在其加载某些python模块是会动态加载该模块对应的动态链接库文件。因此我用ldd命令检查下各python模块的动态库文件的依赖情况：[root@centos-linux-7 Python-2.7.13]# find . -name '*.so'|xargs ldd

./build/lib.linux-x86_64-2.7/_socket.so:

linux-vdso.so.1 => (0x00007ffdba579000)

libm.so.6 => /lib64/libm.so.6 (0x00007ff0d8ded000)

libpthread.so.0 => /lib64/libpthread.so.0 (0x00007ff0d8bd1000)

libc.so.6 => /lib64/libc.so.6 (0x00007ff0d8804000)

/lib64/ld-linux-x86-64.so.2 (0x00007ff0d9304000)

......

./build/lib.linux-x86_64-2.7/_curses.so:

linux-vdso.so.1 => (0x00007ffd61969000)

libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f6a52b86000)

libc.so.6 => /lib64/libc.so.6 (0x00007f6a527b9000)

/lib64/ld-linux-x86-64.so.2 (0x00007f6a52fe5000)

这么一看绝大部分python模块的动态库文件也是仅依赖系统核心库文件，一切都挺美好！

但在我的场景里，python编译时还需要启用ssl、hashlib、readline等模块，而这些模块编译时会依赖系统非核心库文件，我分析Python源代码目录下的setup.py文件，发现依赖关系如下：ssl、hashlib依赖于libssl、libcrypto，而libssl、libcrypto又依赖libz。

readline依赖libreadline、libncurses。

于是这里先编译安装这些非核心库文件：# 注意由于这些库文件后面都需要链接进python模块对应的动态库文件，所以下面编译的非核心库均要使用-fPIC选项，并且都只编译出静态库文件

mkdir -p deps/src

cd deps/src

curl -O https://zlib.net/zlib-1.2.11.tar.gz

tar -xf zlib-1.2.11.tar.gz && cd zlib-1.2.11

CFLAGS='-fPIC' ./configure --prefix=`pwd`/../../zlib --static

make -j4 && make install

cd ..

curl -O https://www.openssl.org/source/openssl-1.0.2q.tar.gz

tar -xf openssl-1.0.2q.tar.gz && cd openssl-1.0.2q

./Configure zlib --prefix=`pwd`/../../ssl --openssldir=`pwd`/../../ssl linux-x86_64 --with-zlib-lib=`pwd`/../../zlib/lib --with-zlib-include=`pwd`/../../zlib/include -fPIC

make -j4 && make install

cd ..

curl -O http://ftp.ntu.edu.tw/gnu/ncurses/ncurses-5.9.tar.gz

tar -xf ncurses-5.9.tar.gz && cd ncurses-5.9

CPPFLAGS="-fPIC" ./configure --prefix=`pwd`/../../ncurses

make -j4 && make install

cd ..

curl -O http://ftp.ntu.edu.tw/gnu/readline/readline-6.2.tar.gz

tar -xf readline-6.2.tar.gz && cd readline-6.2

CPPFLAGS="-fPIC" ./configure --prefix=`pwd`/../../readline --disable-shared

make -j4 && make install

cd ..

cd ../..

最后重新编译Python：# 注意这里添加了选项静态链接libgcc和libstdc++，还指定了一些头文件目录及库文件目录

CPPFLAGS="-I`pwd`/deps/zlib/include -I`pwd`/deps/ssl/include -I`pwd`/deps/readline/include -I`pwd`/deps/ncurses/include -I`pwd`/deps/ncurses/include/ncurses" LDFLAGS="-static-libgcc -static-libstdc++ -L`pwd`/deps/zlib/lib -L`pwd`/deps/ssl/lib -L`pwd`/deps/readline/lib -L`pwd`/deps/ncurses/lib" ./configure --prefix=/usr/local/python27 --with-cxx-main=/usr/bin/g++

make -j4 && make install

最后检查下编译出的python二进制程序文件及各模块的动态库文件，发现仅依赖系统核心库文件，效果很好：[root@centos-linux-7 python27]# ldd /usr/local/python27/bin/python

linux-vdso.so.1 => (0x00007ffc54fe8000)

libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f9774b3d000)

libdl.so.2 => /lib64/libdl.so.2 (0x00007f9774939000)

libutil.so.1 => /lib64/libutil.so.1 (0x00007f9774736000)

libm.so.6 => /lib64/libm.so.6 (0x00007f9774434000)

libc.so.6 => /lib64/libc.so.6 (0x00007f9774067000)

/lib64/ld-linux-x86-64.so.2 (0x00007f9774d59000)

[root@centos-linux-7 python27]# find /usr/local/python27 -name '*.so'|xargs ldd

/usr/local/python27/lib/python2.7/lib-dynload/nis.so:

linux-vdso.so.1 => (0x00007fff42b14000)

libnsl.so.1 => /lib64/libnsl.so.1 (0x00007fbc2ad4f000)

libpthread.so.0 => /lib64/libpthread.so.0 (0x00007fbc2ab33000)

libc.so.6 => /lib64/libc.so.6 (0x00007fbc2a766000)

/lib64/ld-linux-x86-64.so.2 (0x00007fbc2b16d000)

......

/usr/local/python27/lib/python2.7/lib-dynload/_codecs_cn.so:

linux-vdso.so.1 => (0x00007fff695db000)

libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f421bd72000)

libc.so.6 => /lib64/libc.so.6 (0x00007f421b9a5000)

/lib64/ld-linux-x86-64.so.2 (0x00007f421c1b2000)

安装其它第三方python模块的方法与上面的过程很类似了，这里就不赘述了。

总结

手工编译一个python不难，但如果要尽可能少地依赖系统中库文件，这时要考虑的问题就比较多了。通过本次探索，对GCC的编译过程有了更深刻的认识，也基本掌握了CFLAGS、CPPFLAGS、LDFLAGS等常见编译参数的用法。

参考