好久没写博客了,来水一篇,今天写写怎么用ctypes给Python加速。
最近在用pyspark,然而Python效率实在太低,只能用C加速了。先说说结果,加速后C运行速度比Python快1000倍,因为我们的程序有特别大的双层循环,还有位操作。用C的时候,我还用了一些memcpy, memset, memcmp等操作,所以加速非常明显。
利用C语言给Python加速的方法特别多,可以用ctypes, cython, numpy, boost 等等。cython是最简易的,但是前提是必须安装cython,然而我们的spark并没有,我不可能给50多个机器安装cython;numpy有些麻烦,对象管理起来复杂,经常出现seg fault,可以看看github上numpy源码怎么写的;boost也一样,机器上没有。于是,只能用ctypes了。
好在ctypes非常简单好用,只是功能很少,但是对于一个纯C的程序来说,足够了。
ctypes可以直接加载动态库(Linux)
import ctypes
from ctypes import *
libc = CDLL('libc.so.6')
libc.printf('Hello world %d \n.', c_int(