在实际的工作中,有时候我们需要部署自己的Python应用,但这时候我们并不希望别人能够看到自己的Python源程序;还有项目需要,需要优化已有的Python代码。
Python运行速度慢怎么办?通过使用Cython可以提高性能。Cython还可以用于对Python代码进行加密。
cython的原理是:把.py文件编译成.c文件,然后把.c文件编译成.so或.pyd文件,这样文件就很难被破解。
优点在于Python代码很难被破解,缺点在于,Cython有时可能不支持一小部分代码,完善起来就比较麻烦了。
Python的文件类型介绍:
- .py python的源代码文件
- .pyc Python源代码import后,编译生成的字节码
- .pyo Python源代码编译优化生成的字节码。pyo比pyc并没有优化多少,只是去掉了断言
- .pyd Python的动态链接库(Windows平台)
- .so
.py, .pyc, .pyo 运行速度几乎无差别,只是so, pyod文件加载的速度更快,不能用文本编辑器查看内容,反编译不太容易
目前Python代码的执行过程是将Python代码转变成一行行指令,然后解释器解释指令的执行,调用到C代码层。如果去掉指令解释这个阶段,直接进入C代码层,效率就比较高了。如果用之前所述的使用Python C API将Python代码改造为C代码并作为Python的内建模块,工作量极其大,也不能保证其正确性,所以这种方法不太现实。而Cython库正好符合这种场景需求,将已有的Python代码转化为C语言的代码,并作为Python的built-in模块扩展。
Cython基本用法:
在使用Cython编译Python代码时,务必要安装C/C++编译器,本文是直接安装了Visiual Studio 2019的开发环境。
版本说明:
- Python 3.8.3
- Cython 0.29.23
1. 安装Cython库
pip install Cython
2. 编写一个测试代码文件mytest.py
import time
def run():
start_time = time.time()
n = 10000
res = 0
for i in range(n):
for j in range(n):
res += 1
end_time = time.time()
print("run end, use time total:", end_time - start_time)
然后在同一目录下,新建一个setup.py文件,内容如下:
from distutils.core import setup
from Cython.Build import cythonize
setup(ext_modules=cythonize(["mytest.py"]))
cythonize()是Cython提供将Python代码转换成C代码的API,setup是Python提供的一种发布Python模块的方法。
3.测试代码pyd_test.py的代码如下:
from mytest import run
if __name__ == '__main__':
run()
4.使用命令行编译Python代码:
python setup.py build_ext --inplace
- build_ext是指明python生成C/C++的扩展模块(build C/C++ extensions (compile/link to build directory))
- --inplace指示 将编译后的扩展模块直接放在与test.py同级的目录中。
通常会出现如下错误:
参考:
这里提醒一下,window环境下没那么顺利,很费劲,建议用Linux,这时候生成的的文件是*.so
最终的生成结果如下:
在文件目录中:
mytest.c是mytest.py转化后的C代码文件,可以看到mytest.c非常大!!
mytest*.pyd是python的动态链接库,我们在使用import mytest时会加载
build目录编译过程中生成的临时文件
原理
整个Cython工作的流程如下图所示:
分两步:
1).py文件使用Cython被编译为.c文件;
2).c文件使用C编译器生成.pyd(windos)或.so(linux)文件。
除了这种普遍的用法外,还可以在Python代码的某些地方加上静态类型声明,也可以更进一步提升Python的运行效率。
测试效率
生成的pyd文件一方面对我们的源程序进行了加密,另一方面,我们还能继续调用原来的mytest.py文件中的内容。为了验证此功能,我们先删除mytest.py,再运行so_test.py文件。
先运行pyd_test.py:
删除mytest.py,再运行pyd_test.py文件,如下:
可以看出执行时间快了4倍多,如果用pyx的c++版的类库及语法,那么估计快约100~400B倍数,不做举例了。
另外注意:
C扩展模块是特定于版本的。每个不同版本的Python都需要不同版本的扩展模块。您需要根据目标Python版本的头和库从源链接编译扩展模块。
参考:
- https://edu.51cto.com/study/11296
- https://www.huaweicloud.com/articles/1509834.html
- https://www.uio.cn/zh-cn/posts/python_protect/
- https://www.cnblogs.com/jianmu/p/7497274.html
- https://www.coder.work/article/2133317