Python并行处理数据的解决方案

Python并行处理数据的解决方案

使用Python写CUDA程序有两种方式：

1. Numba
2. PyCUDA

实验操作：取随机数复制x次

1.Numba

Numba通过及时编译机制（JIT）优化Python代码，Numba可以针对本机的硬件环境进行优化，同时支持CPU和GPU的优化，使Python代码可以在GPU上运行：
使用Numba，python可以做并行计算，开启多线程，忽略GIL动态锁。

GIL动态锁：在Cpython解释器中，同一个进程下开启的多线程，同一时刻只能有一个线程执行，无法利用多核优势。

内核函数使用python编程

下图为随着操作次数增加，时间花费的变化图：

10000 - 500000次操作：

500000 - 1000000次操作：

2.PyCUDA

3.对比

numba使用一些指令标记某些函数进行加速（也可以使用Python编写内核函数），这一点类似于OpenACC，而PyCUDA需要自己写kernel，在运行时进行编译，底层是基于C/C++实现的。通过测试，这两种方式的加速比基本差不多。但是，numba更像是一个黑盒，不知道内部到底做了什么，而PyCUDA就显得很直观。因此，这两种方式具有不同的应用：

1. 如果只是为了加速自己的算法而不关心CUDA编程，那么直接使用numba会更好。
2. 如果为了学习、研究CUDA编程或者实验某一个算法在CUDA下的可行性，那么使用PyCUDA。
3. 如果写的程序将来要移植到C/C++，那么就一定要使用PyCUDA了，因为使用PyCUDA写的kernel本身就是用CUDA C/C++写的。