无论什么时候,软件的性能提升都是软件开发重要的一步,如果你只想做一个普通的码农,大可不必理会,但是要想提升能力,软件性能的研究是一个跨不过去的坎,不管是新的分布式高并发框架学习,还是新的算法学习,以及代码重构等都是提升性能的一种手段。
当然今天在这里不讲那些大而高深的知识,给大家分享一些提升软件性能的优化代码的工具,使其让代码更加的简洁和迅速,当然这么工具无法替代算法设计,但是也能让Python加速很多倍。
1.NumPy、SciPy、Sage和Pandas
NumPy的核心是一个多维数字数组的实现。并且除了这个数据结构之外,还实现了若干个函数和运算符,使其支持高效的数组运算。并且精简了被调用的次数,以便于被用来进行极其高效的数学运算。
SciPy和Sage可以说是一个整合工具,内置了NumPy外还内置了许多其他的不同的工具,从而使其可以用于特定科学、数学和高性能计算的模块。
Pandas则是一个侧重于数据分析的工具。如果需要处理大量半结构化的数据,也可能会用到Pandas相关的工具,比如Blaze。
2.PyPy、Pyston、Parakeet、Psyco
我们知道让代码运行的更快并且侵入性最小的就是使用实时编译器(JIT编译)。在以前我们可以安装Psyco,然后调用其psyco.full()的函数,代码运行速度明显提升。
然而现如今许多Psyco项目已经停止了维护,不过类似的功能却在PyPy中得以继承。
PyPy为了方便分析、优化和翻译,使用Python语言将Python重新实现了一遍,这样就可以JIT编译。而且PyPy可以直接将代码翻译成像C那样的性能更高的语言。
此外还有一个Pyston,但到现在还有很多不完善的地方。它是一个与LLVM平台较为接近的Python的JIT编译器,并且很多时候已经优于Python的实现。
3.GPULib、PyStream、PyCUDA和PyOpenCL
这四个的作用都是用来处理图像单元以实现加速代码的作用,并且相较于代码优化从软件层出发,他们是从硬件层面上进行加速,如果你的电脑有一个强大的GPU,我们完全可以使用GPU来进行计算,以此减少CPU的宝贵资源。
4.Pyrex、Cython、Numba和Shedskin
这四个项目都致力于将Python代码翻译为C、C++和LLVM的代码。Shedskin能够将代码编译为C++语言。Pyrex和Cython主要目的是将Python代码编译为C语言。Cython也是Pyrex的一个分支。而且Cython还有NumPy数组的额外支持。
5.SWIG、F2PY和Boost.Python
这些工具可以将其他的语言封装为Python的模块。第一个可以封装C/C++语言。F2PY可以封装Fortran。Boost.Python可以封装C++语言。
SUIG只要启动一个命令行工具,往里面输入C或者C++的头文件,封装器代码就会自动生成。除了Python,而且可以成为其他语言的封装器,比如Java和PHP。
6.ctypes、llvm-py和CorePy2
这些模块可以帮助我们实现Python底层对象的操作。ctypes模块可以用于在内存中构建编译C的对象。并且调用共享库中的C的函数。不过ctypes已经包含在Python的标准库里面了。
llvm-py主要提供LLVM的Python接口。以便于构建代码,然后编译他们。也可以在Python中构建它的编译器。当然搞出自己编程语言也是可以的。
CorePy2也可以进行加速,不过这个加速是运行在汇编层的。
7.Weave、Cinpy和PyInline
这三个包,就可以让我们在Python代码中直接使用C语言或者其他的高级语言。混合代码,依然可以保持整洁。可以使用Python代码的字符串的多行特性,可以使其他的代码按照自身的风格来进行排版。
8.其他工具
如果我们要节省内存,就不能使用JIT了。一般JIT都太耗费内存。有一句话说的很对,时间和内存经常不能兼得,而我们在工程开发中,总是要寻找他们的平衡点。
至于其他的一些东西,比如Micro Python项目,这个是用在嵌入式设备或者微控制器上面使用的。
如果只是想在Python环境中工作,然后想用别的语言,可以看看这个项目Julia