python 提升速度 读大文件_「通信转型之路」自动化python学习-一行代码提升Python运行速度...

Python的通病，就是运行速度太慢

python一直被病垢运行速度太慢，但是实际上python的执行效率并不慢，慢的是python用的解释器Cpython运行效率太差。

“一行代码让python的运行速度提高100倍”这绝不是哗众取宠的论调。

我们来看一下这个最简单的例子，从1一直累加到1亿。

如何提升运行效率，看例子

最原始的代码：

import timedef foo(x,y): tt = time.time() s = 0 for i in range(x,y): s += i print('Time used: {} sec'.format(time.time()-tt)) return sprint(foo(1,100000000))

结果：

Time used: 6.779874801635742 sec4999999950000000

我们来加一行代码，再看看结果：

from numba import jitimport time@jitdef foo(x,y): tt = time.time() s = 0 for i in range(x,y): s += i print('Time used: {} sec'.format(time.time()-tt)) return sprint(foo(1,100000000))

结果：

Time used: 0.04680037498474121 sec4999999950000000

是不是快了100多倍呢？

那么下面就分享一下“为啥numba库的jit模块那么牛掰？”

NumPy的创始人Travis Oliphant在离开Enthought之后，创建了CONTINUUM，致力于将Python大数据处理方面的应用。最近推出的Numba项目能够将处理NumPy数组的Python函数JIT编译为机器码执行，从而上百倍的提高程序的运算速度。

Numba项目的主页上有Linux下的详细安装步骤。编译LLVM需要花一些时间。

Windows用户可以从Unofficial Windows Binaries for Python Extension Packages下载安装LLVMPy、meta和numba等几个扩展库。

下面我们看一个例子：

import numba as nbfrom numba import jit@jit('f8(f8[:])')def sum1d(array): s = 0.0 n = array.shape[0] for i in range(n): s += array[i] return simport numpy as nparray = np.random.random(10000)%timeit sum1d(array)%timeit np.sum(array)%timeit sum(array)10000 loops, best of 3: 38.9 us per loop10000 loops, best of 3: 32.3 us per loop100 loops, best of 3: 12.4 ms per loop

numba中提供了一些修饰器，它们可以将其修饰的函数JIT编译成机器码函数，并返回一个可在Python中调用机器码的包装对象。为了能将Python函数编译成能高速执行的机器码，我们需要告诉JIT编译器函数的各个参数和返回值的类型。我们可以通过多种方式指定类型信息，在上面的例子中，类型信息由一个字符串’f8(f8[:])’指定。其中’f8’表示8个字节双精度浮点数，括号前面的’f8’表示返回值类型，括号里的表示参数类型，’[:]’表示一维数组。因此整个类型字符串表示sum1d()是一个参数为双精度浮点数的一维数组，返回值是一个双精度浮点数。

需要注意的是，JIT所产生的函数只能对指定的类型的参数进行运算：

print sum1d(np.ones(10, dtype=np.int32))print sum1d(np.ones(10, dtype=np.float32))print sum1d(np.ones(10, dtype=np.float64))1.2095376009e-3121.46201599944e+18510.0

如果希望JIT能针对所有类型的参数进行运算，可以使用autojit：

from numba import autojit@autojitdef sum1d2(array): s = 0.0 n = array.shape[0] for i in range(n): s += array[i] return s%timeit sum1d2(array)print sum1d2(np.ones(10, dtype=np.int32))print sum1d2(np.ones(10, dtype=np.float32))print sum1d2(np.ones(10, dtype=np.float64))10000 loops, best of 3: 143 us per loop10.010.010.0

autoit虽然可以根据参数类型动态地产生机器码函数，但是由于它需要每次检查参数类型，因此计算速度也有所降低。numba的用法很简单，基本上就是用jit和autojit这两个修饰器，和一些类型对象。下面的程序列出numba所支持的所有类型：

print [obj for obj in nb.__dict__.values() if isinstance(obj, nb.minivect.minitypes.Type)][size_t, Py_uintptr_t, uint16, complex128, float, complex256, void, int , long double,unsigned PY_LONG_LONG, uint32, complex256, complex64, object_, npy_intp, const char *,double, unsigned short, float, object_, float, uint64, uint32, uint8, complex128, uint16,int, int , uint8, complex64, int8, uint64, double, long double, int32, double, long double,char, long, unsigned char, PY_LONG_LONG, int64, int16, unsigned long, int8, int16, int32,unsigned int, short, int64, Py_ssize_t]

工作原理

numba的通过meta模块解析Python函数的ast语法树，对各个变量添加相应的类型信息。然后调用llvmpy生成机器码，最后再生成机器码的Python调用接口。

meta模块

通过研究numba的工作原理，我们可以找到许多有用的工具。例如meta模块可在程序源码、ast语法树以及Python二进制码之间进行相互转换。下面看一个例子：

def add2(a, b): return a + b

decompile_func能将函数的代码对象反编译成ast语法树，而str_ast能直观地显示ast语法树，使用这两个工具学习Python的ast语法树是很有帮助的。

from meta.decompiler import decompile_funcfrom meta.asttools import str_astprint str_ast(decompile_func(add2))FunctionDef(args=arguments(args=[Name(ctx=Param(), id='a'), Name(ctx=Param(), id='b')], defaults=[], kwarg=None, vararg=None), body=[Return(value=BinOp(left=Name(ctx=Load(), id='a'), op=Add(), right=Name(ctx=Load(), id='b')))], decorator_list=[], name='add2')

而python_source可以将ast语法树转换为Python源代码：

from meta.asttools import python_sourcepython_source(decompile_func(add2))def add2(a, b): return (a + b)

decompile_pyc将上述二者结合起来，它能将Python编译之后的pyc或者pyo文件反编译成源代码。下面我们先写一个tmp.py文件，然后通过py_compile将其编译成tmp.pyc。

with open("tmp.py