只需一行代码,让你的Python运算速度更加流畅!

@jit

def foo(x,y):

tt = time.time()

s = 0

for i in range(x,y):

s += i

print(‘Time used: {} sec’.format(time.time()-tt))

return s

print(foo(1,100000000))

结果: Time used: 0.04680037498474121 sec 4999999950000000

是不是快了100多倍呢?


那么下面就分享一下“为啥numba库的jit模块那么牛掰?”

NumPy的创始人Travis Oliphant在离开Enthought之后,创建了CONTINUUM,致力于将Python大数据处理方面的应用。最近推出的Numba项目能够将处理NumPy数组的Python函数JIT编译为机器码执行,从而上百倍的提高程序的运算速度。

Numba项目的主页上有Linux下的详细安装步骤。编译LLVM需要花一些时间。 Windows用户可以从Unofficial Windows Binaries for Python Extension Packages下载安装LLVMPy、meta和numba等几个扩展库。

下面我们看一个例子:

import numba as nb

from numba import jit

@jit(‘f8(f8[:])’)

def sum1d(array):

s = 0.0

n = array.shape[0]

for i in range(n):

s += array[i]

return s

import numpy as np

array = np.random.random(10000)

%timeit sum1d(array)

%timeit np.sum(array)

%timeit sum(array)

10000 loops, best of 3: 38.9 us per loop

10000 loops, best of 3: 32.3 us per loop

100 loops, best of 3: 12.4 ms per loop

numba中提供了一些修饰器,它们可以将其修饰的函数JIT编译成机器码函数,并返回一个可在Python中调用机器码的包装对象。为了能将Python函数编译成能高速执行的机器码,我们需要告诉JIT编译器函数的各个参数和返回值的类型。

我们可以通过多种方式指定类型信息,在上面的例子中,类型信息由一个字符串’f8(f8[:])’指定。其中’f8’表示8个字节双精度浮点数,括号前面的’f8’表示返回值类型,括号里的表示参数类型,’[:]’表示一维数组。

因此整个类型字符串表示sum1d()是一个参数为双精度浮点数的一维数组,返回值是一个双精度浮点数。

需要注意的是,JIT所产生的函数只能对指定的类型的参数进行运算:

print sum1d(np.ones(10, dtype=np.int32))

print sum1d(np.ones(10, dtype=np.float32))

print sum1d(np.ones(10, dtype=np.float64))

1.2095376009e-312

1.46201599944e+185

10.0

如果希望JIT能针对所有类型的参数进行运算,可以使用autojit:

from numba import autojit

@autojit

def sum1d2(array):

s = 0.0

n = array.shape[0]

for i in range(n):

s += array[i]

return s

%timeit sum1d2(array)

print sum1d2(np.ones(10, dtype=np.int32))

print sum1d2(np.ones(10, dtype=np.float32))

print sum1d2(np.ones(10, dtype=np.float64))

10000 loops, best of 3: 143 us per loop

10.0

10.0

10.0

autoit虽然可以根据参数类型动态地产生机器码函数,但是由于它需要每次检查参数类型,因此计算速度也有所降低。numba的用法很简单,基本上就是用jit和autojit这两个修饰器,和一些类型对象。下面的程序列出numba所支持的所有类型:

print [obj for obj in nb.dict.values() if isinstance(obj, nb.minivect.minitypes.Type)]

[size_t, Py_uintptr_t, uint16, complex128, float, complex256, void, int , long double,

unsigned PY_LONG_LONG, uint32, complex256, complex64, object_, npy_intp, const char *,

double, unsigned short, float, object_, float, uint64, uint32, uint8, complex128, uint16,

int, int , uint8, complex64, int8, uint64, double, long double, int32, double, long double,

char, long, unsigned char, PY_LONG_LONG, int64, int16, unsigned long, int8, int16, int32,

unsigned int, short, int64, Py_ssize_t]

工作原理

numba的通过meta模块解析Python函数的ast语法树,对各个变量添加相应的类型信息。然后调用llvmpy生成机器码,最后再生成机器码的Python调用接口。

meta模块

通过研究numba的工作原理,我们可以找到许多有用的工具。例如meta模块可在程序源码、ast语法树以及Python二进制码之间进行相互转换。下面看一个例子:

def add2(a, b):

return a + b

decompile_func能将函数的代码对象反编译成ast语法树,而str_ast能直观地显示ast语法树,使用这两个工具学习Python的ast语法树是很有帮助的。

from meta.decompiler import decompile_func

from meta.asttools import str_ast

print str_ast(decompile_func(add2))

FunctionDef(args=arguments(args=[Name(ctx=Param(),

id=‘a’),

Name(ctx=Param(),

id=‘b’)],

defaults=[],

kwarg=None,

vararg=None),

body=[Return(value=BinOp(left=Name(ctx=Load(),

id=‘a’),

op=Add(),

right=Name(ctx=Load(),

id=‘b’)))],

decorator_list=[],

name=‘add2’)

而python_source可以将ast语法树转换为Python源代码:

from meta.asttools import python_source

python_source(decompile_func(add2))

def add2(a, b):

return (a + b)

decompile_pyc将上述二者结合起来,它能将Python编译之后的pyc或者pyo文件反编译成源代码。下面我们先写一个tmp.py文件,然后通过py_compile将其编译成tmp.pyc。

with open(“tmp.py”, “w”) as f:

f.write(“”"

def square_sum(n):

s = 0

for i in range(n):

s += i**2

return s

“”")

import py_compile

py_compile.compile(“tmp.py”)

下面调用decompile_pyc将tmp.pyc显示为源代码:

with open(“tmp.pyc”, “rb”) as f:

decompile_pyc(f)
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全,刚开始学习的时候你可以只看视频或者听某个人讲课,但等你学完之后,你觉得你掌握了,这时候建议还是得去看一下书籍,看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

五、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里无偿获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 23
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值