numba优化踩坑记录

起因

众所周知，python的运行很慢。最近遇到一个需要中等频率处理百亿条数据的工作（还没办法直接用numpy的矩阵操作）。但我c++水平有限，加上读取、处理数据的API（ArcPy）只支持python，所以不得不想办法优化运行速度。自然而然地想到了被很多人吹得神乎其技的numba。

快不起来？

numba只能让基于numba数组的操作变快。如果使用python原生的列表进行赋值、计算等操作，甚至会更慢。

numba运行报错？

numba快，确实快，但是想让他能运行起来，就要大幅改变在python中的写法。

尽可能使用局部变量

如果在装饰了@numba.jit(nopython=True)的函数使用了外部定义的全局变量，一不小心就报错。写到最后，我是把要用到的所有变量，都以参数的形式传入了numba优化函数。

替换数据结构

如果以写python的思路写有numba参与的代码，分分钟报错，主要原因是numba不支持大量python内置函数及内置数据结构。大量数据结构需要用numba.types中的数据结构代替。

• numba不支持字典结构，需要使用numba.types.Dict代替。numba.types包含了大量用于替换Python原生数据结构的数据结构。

• numba不支持大量的Python内置函数。甚至连int()都不支持！

变量是静态类型的

用numba写Python代码，要持着写C/C++的思维才行。

• 如果在装饰了@numba.jit(nopython=True)的函数中创建了新的numpy数组，一定注意：赋值时，所赋值的类型必须和numpy数组的类型一致，似乎不存在任何的自动类型转换（至少我没遇到）。这比C/C++的类型检查还严格，C/C++有时候还会帮你做自动类型转换。
• 使用numba.types中的数据结构初始化变量时，要像在C/C++中那样，声明变量的类型。

让numba更快

这其实算是让numpy的内容。我一开始使用了np.append函数去拼接numpy数组。但后来发现，一开始直接声明numpy数组的大小，并用索引赋值，比使用np.append快了不知道多少倍。

欢迎交流~