在Python遇到性能瓶颈时怎么办?答案是找对应功能的C/C++程序,把它编译成CPython模块,供Python调用来提高性能。
如何把C/C++程序编译成Python模块
比如Python中做科学计算,数据处理的Numpy模块就是使用C语言编写的,Numpy处理速度比Pandas快数倍。Numpy的处理速度一点都不比go语言差。
本文就是介绍如何把C/C++程序编译成Python模块。本文偏技术,需要耐着性质看。
Python 作为一个胶水语言,可以很方便的通过C/C++来进行扩展,提高性能。前面我写了一篇文章介绍如何通过Python的ctypes加载普通的.so库。
其实,这还不算真正的用C/C++写Python的扩展模块。
本文将介绍如何使用C语言和C++写Python模块。
一、Python的C语言接
Python语言最初是用C语言实现的一种脚本语言,后来被称为CPython,是因为后来它语言实现的Python,比如Python实现的Python——PyPy,Java语言实现的Python——Jython,.Net实现的Python——IronPython。
CPython具有优良的开放性和可扩展性,并提供了方便灵活的应用程序接口(API),从而使得C/C++程序员能够对Python解释器的功能进行扩展。
Python的C语言接口很适合封装C语言实现的各种函数,如果要封装C++的类,使用boost_python或者SWIG更方便和合适,还有一个类似boost_python的支持C++11的pybind11。
1 模块封装
假设我们有一个C函数:
/* 文件名:mylib.c */
int addone(int a) {
return a+1;
}
如果想在Python解释器中调用该函数,则应该首先将其实现为Python中的一个模块,这需要编写相应的封装接口,如下所示:
/* wrap_mylib.c */
#include
#include "mylib.h"
PyObject* wrap_addone(PyObject* self, PyObject* args)
{
int n, result;
if (! PyArg_ParseTuple(args, "i:fact", &n))
return NULL;
result = addone(n); /*这里调用C函数 */
return Py_BuildValue("i", result);
}
static PyMethodDef mylibMethods[] =
{
{"addone", wrap_addone, METH_VARARGS, "Add one to N"},
{NULL, NULL}
};
void initmylib()
{
PyObject* m;
m = Py_InitModule("mylib", mylibMethods);
}
上面就是一个典型的Python扩展模块,它至少应该包含三个部分:导出函数、方法列表和初始化函数。
2 导出函数
要在Python解释器中调用C语言中的某个函数,首先要为它编写对应的导出函数,上述例子中的导出函数为wrap_addone。在Python的C语言扩展中,所有的导出函数都具有相同的函数原型:
PyObj