![8bec9aaeee5a8352ce246456ef00c0be.gif](https://i-blog.csdnimg.cn/blog_migrate/8075da6be2bc4a12fd1e59bcaf56dcdc.gif)
这篇文章会提供一些优化代码的工具。会让代码变得更简洁,或者更迅速。
当然这些并不能代替算法设计,但是还是能让Python加速很多倍。
这篇文章主要讲优化单处理器的代码,下面会介绍一些一些高效的函数实现,也有已经封装好的拓展模块,还包括速度更快的Python解释器。
当然多处理器版本确实能大幅提高运行效率。如果想了解多核编程,可以从multiprocessing模块开始。而且也能找到非常多的关于分布式计算的第三方工具。这里可以看一下Python wiki上的关于Parallel Processing的内容。
接下来,会说一些关于Python加速工具的选单。
![f7f8416f491db51890a4a2939c8a6235.png](https://i-blog.csdnimg.cn/blog_migrate/c219f56c4eb744b1c1cb852477b66e72.png)
01
NumPy、SciPy、Sage和Pandas
先说,NumPy。它的核心是一个多维数字数组的实现。除了这个数据结构之外,还实现了若干个函数和运算符,可以高效地进行数组运算。并且对于被调用的次数进行了精简。它可以被用来进行极其高效的数学运算。
SciPy和Sage都将NumPy内置为自身的一部分,同时内置了其他的不同的工具,从而可以用于特定科学、数学和高性能计算的模块。
Pandas是一个侧重于数据分析的工具。如果处理大量半结构化数据的时候,可能也会用到Pandas相关的工具,比如Blaze。
![f7f8416f491db51890a4a2939c8a6235.png](https://i-blog.csdnimg.cn/blog_migrate/c219f56c4eb744b1c1cb852477b66e72.png)
02
PyPy、Pyston、Parakeet、Psyco和Unladen Swallow
让代码运行的更快,侵入性最小的就是使用实时编译器(JIT编译)。以前的话我们可以直接安装Psyco。安装之后导入psyco,然后调用psyco.full()。代码运行速度就可以明显提升。运行Python代码的时候,它可以实时监控程序,会将一部分代码编译为了机器码。
现在好多Psyco等加速器的项目已经停止维护了,不过类似的功能在PyPy中得到了继承。
PyPy为了方便分析、优化和翻译,用Python语言将Python重新实现了一遍,这样就可以JIT编译。而且PyPy可以直接将代码翻译成像C那样的性能更高的语言。
Unladen Swallow是一个Python的JIT编译器。是Python解释器的一本版本,被称为底层虚拟机(LLVM)。不过这个开发已经停止了。
Pyston是一个与LLVM平台较为接近的Python的JIT编译器。很多时候已经优于Python的实现,但不过还有很多地方不完善。
![f7f8416f491db51890a4a2939c8a6235.png](https://i-blog.csdnimg.cn/blog_migrate/c219f56c4eb744b1c1cb852477b66e72.png)
03
GPULib、PyStream、PyCUDA和PyOpenCL
这四个都是用在图像处理单元来实现代码的加速。前面讲的都是用代码优化来实现加速的。而这些都是从硬件层面上进行加速,如果有一个强大的GPU,我们可以用GPU来计算,从而减少CPU宝贵的资源。
PyStream古老一点。GPULib提供了基于GPU的各种形式的数据计算。
如果用GPU加速自己的代码,可以用PyCUDA和PyOpenCL。
![f7f8416f491db51890a4a2939c8a6235.png](https://i-blog.csdnimg.cn/blog_migrate/c219f56c4eb744b1c1cb852477b66e72.png)
04
Pyrex、Cython、Numba和Shedskin
这四个项目都致力于将Python代码翻译为C、C++和LLVM的代码。Shedskin会将代码编译为C++语言。Pyrex、Cython编译的主要目标是C语言。Cython也是Pyrex的一个分支。
而且,Cython还有NumPy数组的额外支持。
如果面向数组和数学计算的时候,Numba是更好的选择导入时会自动生成相应的LLVM的代码。升级版本是NumbaPro,还提供了对GPU的支持。
![f7f8416f491db51890a4a2939c8a6235.png](https://i-blog.csdnimg.cn/blog_migrate/c219f56c4eb744b1c1cb852477b66e72.png)
05
SWIG、F2PY和Boost.Python
这些工具可以将其他的语言封装为Python的模块。第一个可以封装C/C++语言。F2PY可以封装Fortran。Boost.Python可以封装C++语言。
SUIG只要启动一个命令行工具,往里面输入C或者C++的头文件,封装器代码就会自动生成。除了Python,而且可以成为其他语言的封装器,比如Java和PHP。
![f7f8416f491db51890a4a2939c8a6235.png](https://i-blog.csdnimg.cn/blog_migrate/c219f56c4eb744b1c1cb852477b66e72.png)
06
ctypes、llvm-py和CorePy2
这些模块可以帮助我们实现Python底层对象的操作。ctypes模块可以用于在内存中构建编译C的对象。并且调用共享库中的C的函数。不过ctypes已经包含在Python的标准库里面了。
llvm-py主要提供LLVM的Python接口。以便于构建代码,然后编译他们。也可以在Python中构建它的编译器。当然搞出自己编程语言也是可以的。
CorePy2也可以进行加速,不过这个加速是运行在汇编层的。
![f7f8416f491db51890a4a2939c8a6235.png](https://i-blog.csdnimg.cn/blog_migrate/c219f56c4eb744b1c1cb852477b66e72.png)
07
Weave、Cinpy和PyInline
这三个包,就可以让我们在Python代码中直接使用C语言或者其他的高级语言。混合代码,依然可以保持整洁。可以使用Python代码的字符串的多行特性,可以使其他的代码按照自身的风格来进行排版。
![f7f8416f491db51890a4a2939c8a6235.png](https://i-blog.csdnimg.cn/blog_migrate/c219f56c4eb744b1c1cb852477b66e72.png)
08
其他工具
如果我们要节省内存,就不能使用JIT了。一般JIT都太耗费内存。有一句话说的很对,时间和内存经常不能兼得,而我们在工程开发中,总是要寻找他们的平衡点。
至于其他的一些东西,比如Micro Python项目,这个是用在嵌入式设备或者微控制器上面使用的。
如果只是想在Python环境中工作,然后想用别的语言,可以看看这个项目Julia。
End.
作者:linuxer小橡皮
来源:知乎专栏
本文为转载分享,如侵权请联系后台删除
长按下方海报添加微信领取【Python高清思维导图】
零基础 · 入职数据分析就业班
就业班学员专享:
趣味月考测试、数据库模拟练习
1v1职场生涯规划班主任监督辅导
专业讲师团队答疑
加入我们你将拥有:
1. 熟练掌握SQL/Python/Excel/PPT等数据分析工具的能力
2. 真实数据库的实战项目经历
3. 数据职场讲师1v1生涯规划
6月班正在火热报名中!快来扫码咨询吧!
![45e1112f97861e1a345c12b55bc0e4da.gif](https://i-blog.csdnimg.cn/blog_migrate/ba285ca31159ef671393a1109263f17e.gif)