![ba0f68af34318d2c7b8e846bdd0b4a66.png](https://i-blog.csdnimg.cn/blog_migrate/b117c6e9ca3affb1d8c925f5d2d98155.jpeg)
4种方法提升Python数组的效率
项目地址:
https://github.com/tushushu/flying-pythongithub.com1. Python的列表为什么慢
Python的列表是一个动态的数组,即数组的size是可以调整的,数组存放着指向各个列表元素的指针(PyObject*)。列表中的各个元素可以是不同的类型,比如my_list = ['a', 1, True]。实际上数组里存放了三个指针,分别指向了这三个元素。那么相比其他语言的数组而言,为什么Python的列表会慢呢?原因主要是以下两个:
1. Python是动态类型语言,意味着类型检查要耗费额外的时间。
2. Python或者说Cpython没有JIT优化器。
2. 如何用Python执行快速的数组计算
目前比较主流的解决方案有如下几种:
1. Numpy - Numpy的array更像是C/C++的数组,数据类型一致,而且array的方法(如sum)都是用C来实现的。
2. Numba - 使用JIT技术,优化Numpy的性能。无论是调用Numpy的方法,还是使用for循环遍历Numpy数组,都可以得到性能提升。
3. Numexpr - 避免Numpy为中间结果分配内存,优化Numpy性能,主要用于大数组的表达式计算。
4. Cython - 为Python编写C/C++扩展。
接下来通过两个例子来演示如何通过这四种工具
3. 数组求平方和
arr
3.1 for循环
def
3.2 Numpy
import
3.3 Numba
from
3.4 Numexpr
import
3.5 Cython
%
4. 数组变换
arr
4.1 for循环
def
4.2 Numpy
import
4.3 Numba
from
4.4 Numexpr
import
4.5 Cython
%
5. 参考文章
How does python have different data types in an array?
Why are Python Programs often slower than the Equivalent Program Written in C or C++?
How Fast Numpy Really is and Why?