C/C++调Python时,由于Python解释器有GIL(Global Interpreter Lock)的原因,导致在同一时刻只能有一个线程拥有GIL,我们可以将其简单理解为全局锁。所以在C/C++多线程调用Python时需要先获取GIL。
C/C++多线程调Python
#include <stdio.h> //[3]
#include <time.h>
#include <pthread.h>
#include "/usr/include/python2.7/Python.h"
void* fun(void* arg)
{
PyObject *pObjArgs = NULL;
while(线程退出条件)
{
//文献[3]中在此处需要调用PyGILState_Check()检测当前线程是否拥有GIL,
//但我的环境并不能编译PyGILState_Check,但我实测没有PyGILState_Check也OK.
PyGILState_STATE gstate;
gstate = PyGILState_Ensure(); //如果没有GIL,则申请获取GIL
Py_BEGIN_ALLOW_THREADS;
Py_BLOCK_THREADS;
// 调用Python C API函数,如PyRun_SimpleString、PyImport_Import、PyObject_CallObject、……
Py_UNBLOCK_THREADS;
Py_END_ALLOW_THREADS;
PyGILState_Release(gstate); //释放当前线程的GIL
// ………… 其他操作
}
if (pObjArgs) Py_DECREF(pObjArgs);
return NULL;
}
void create_multiThread(int n)
{
int i;
for (i = 0; i < n; i++)
{
pthread_t threadid;
int ret = pthread_create(&threadid, NULL, fun, &i);
if (0 != ret)
{
printf("pthread_create CarDetThread error!\n");
return;
}
}
}
int main()
{
//初始化Python环境,如果是C++ class,可以将这一部分放到class的构造函数中去。
//**********************************************
Py_Initialize(); //初始化Python环境
if ( !Py_IsInitialized() ) //检测是否初始化成功
{
return -1;
}
else
{
PyEval_InitThreads(); //开启多线程支持
int nInit = PyEval_ThreadsInitialized(); //检测线程支持是否开启成功
if ( nInit )
{
PyEval_SaveThread(); //因为调用PyEval_InitThreads成功后,当前线程就拥有了GIL,释放当前线程的GIL,
}
}
//**********************************************
create_multiThread(2);
while(等待所有线程结束)
{
sleep(...);
}
//结束Python环境,如果是C++ class,可以将这一部分放到class的析构函数中去。
//**********************************************
PyGILState_Ensure();
Py_Finalize();
//**********************************************
return 0;
}
编译:g++ xxx.hpp xxx.cpp -o main -I/usr/include/python2.7/ -lpython2.7 -lpthread
关于上述代码中宏定义的补充说明
宏Py_BEGIN_ALLOW_THREADS的展开为 “{ PyThreadState *_save; _save = PyEval_SaveThread();” [4]
宏Py_END_ALLOW_THREADS的展开为 “PyEval_RestoreThread(_save); }”
宏Py_BLOCK_THREADS的展开为 “PyEval_RestoreThread(_save);”
宏Py_UNBLOCK_THREADS的展开为 “_save = PyEval_SaveThread();”
所以线程处理函数 fun 中的四个宏展开后实际效果如下:
{
PyThreadState *_save; _save = PyEval_SaveThread();
PyEval_RestoreThread(_save);
// 调用Python C API函数
_save = PyEval_SaveThread();
PyEval_RestoreThread(_save);
}
用PyErr_Print查看错误原因
如果怀疑哪一行代码出错[2],可以将PyErr_Print()函数放在这行代码后面,以便于查看错误原因。
参考文献
[1] Python GIL介绍
[2] Python/C API Reference Manual
[3] C++ 多线程调用Python脚本
[4] https://blog.csdn.net/cedricporter/article/details/6810665