python命令行编译py_Python 2.7 cython cythonize py 编译成 pyd 谈谈那些坑

Python 2.7 cython cythonize py 编译成 pyd 谈谈那些坑

前言

基于 python27 的 pyc 很容易被反编译，于是想到了pyd，加速运行，安全保护

必要准备

安装cython：pin install cython

假如有以下目录结构：

myPackage/

__init__.py

myModule.py

subFolder/

__init__.py

subModule.py

setup.py　　--这是用来 build python extension 的，也就是 pyd

setup.py代码：

1 import setuptools #important

2 from distutils.core importsetup3 from Cython.Build importcythonize4 from distutils.extension importExtension5 extensions =[]6 extensions.append(Extension(‘myModule‘,[‘myModule.py‘]))7 extensions.append(Extension(‘subFolder.subModule‘,[‘subFolder/subModule.py‘]))8

9 setup(10 ext_modules = cythonize(extensions, compiler_directives={‘language_level‘: 2}),11

12 )

在 myPackage/ 目录下开启cmd(win系统)，编译pyd

python.exe setup.py build_ext --inplace

编译过程(如果顺利)和 setup.py 代码解析：

cythonize()：会在 py 文件所在的相应文件夹生成 .c 或者 .cpp 文件(这个取决于compiler_directives 中的一些设置，参考 compiler-directives )

setup.py build_ext：在myPackage/目录下生成一个build文件夹，里面有编译的一些中间产物，最终把 pyd 复制到 py 文件所在的相应位置(pyd最终复制的路径是由Extension()来决定的)

Extension()：它有很多参数，只说代码中的参数

参数 1：这个参数就是 pyd 最终被拷贝的路径，在编译成功后，会看到copying build\lib.win-amd64-2.7\xxx.pyd -> xxx\xxx，后面的 xxx\xxx 就是Extension的第一个参数：‘xxx.xxx‘ (没看错，这里是用点 . 来分隔，简直坑)，如果第一个参数是‘*‘(就像官方文档里面的例子一样)，它代表cmd运行的当前路径，也就是 myPackage/ ，也就是说，所有 pyd 都会被拷贝到这里来

参数 2：这是 py 或者 pyx(Cython格式)的相对路径，是指 cmd(并非setup.py) 的所在路径(因为我是在 waf 的 wscript 中 执行编译的，waf 会把 cmd 的路径改变到它的 build 路径下，如果单独使用setup.py，应该不会有这个问题)

编译过程中会遇到的一些警告或者错误(如果不顺利或者不完美)和 setup.py 代码解析

error：unresolved external symbol init__init__

没错，__init__.py 似乎在这里不能被编译成 pyd，所以可能要编译成 pyc 或者干脆不编译

error：unable to find vcvarsall.bat

出现这个错误，只会看到 .c 或者 .cpp，看不到 pyd

2.确保更新或者安装 Python 的 setuptools：

安装或者更新 setuptools：pin install -U setuptools

3.在 setup.py 中的第一行加 import setuptools，最新版的 setuptools 会自动找到 vcvarsall.bat

FutureWarning： Cython directive ‘language_level‘ not set, using 2 for now (Py2). This will change in a later release!

在compiler_directives中指定：cythonize( compiler_directives = {‘language_level‘: 2} )

py 和 pyx 编译成 pyd 的注意点

如果编译的是 .pyx ，而且这些文件中 include 一些自定义的头文件，那么 setup() 还要加 library 相关的参数，就像我们编译 c 语言一样，这里只谈 py ，所以不多说

pyd 的使用

就像 pyc 一样正常使用(如果python安装了 PySide 或者 PyQt，可以到它们的目录下看看，它们的主要模块也是 pyd，而且 __init__.py 没有相应的 pyd)

import xxx

from myPackage import myModule

import myPackage.myModule as m

from myPackage.subFolder import subModule