c++调用python numpy编程

背景

现在用c++重构了python工程，有一部分后处理不想再花时间重构了，所以直接拿过来调用。边搜资料边做的，做这个demo花了些时间，所以记下来以防忘记。

资料

找了很多的c++调用python的方法，首先可以肯定的有不止一种方式，直接使用python库、numpy arrayobject库来做；另外一种是使用boost/python boost/numpy的方式。后一种没有调通，是链接库的问题，也记录下来放在后面了。

1）常规的方式

1. 调包的基本结构 C/C++调用Python（OpenCV与Numpy）作者收集了很多的信息，帮助蛮大的。
2. 编译，收集自stackoverflow: how to build this project
   g++ -o cc cc.cpp `pkg-config --cflags --libs opencv` -I/usr/include/python3.5 -lpython3.5m
   值得说明一下的是，python3.5m是在路径/usr/lib/x86_64-linux-gnu/libpython3.5m.so下，可以自行搜素。另外，代码中有个warning，使用宏定义就可以去掉了，在代码中也有说明
3. 代码块

• c++: cc.cpp。 ¹
  - c++代码中有个需要说明的地方【1】，需要指定python搜索的路径，防止import ***(PyImport_Import) 时出错；设定搜索路径的时候也可以这样 PyRun_SimpleString ("import sys; sys.path.insert(0, '/home/ely/Desktop/Python/C-Python/')");
• python：simple_module.py. ²
• c++处理有多个numpy类型的返回值的python代码
  • 参考文献：PyArg_ParseTuple官方文档,里面提到了此函数的标准用法。不过有更方便的函数，此链接的网页向上一点的PyArg_UnpackTuple函数，完全等同与PyArg_ParseTuple函数，用起来更聪明一点.
  • 处理有多个numpy类型的返回值代码

4. 补充

• import_array()有奇怪的返回值，这篇博客也提到了解决方法 import_array()报错，返回值类型与函数类型不匹配。但是要删东西，还有不报错误的风险。这儿我忘记了在哪看到的代码了，也没能在历史记录里找到，先把代码贴过来。其实就是将这个函数加一个壳。然后用init替换import_array。

size_t init() {
    import_array();
}

• 一个小插曲，c++主函数需要使用多线程，python放在子线程中执行。在子线程中异步调用时会有segment fault，而相同代码顺序执行的没有问题。我一度怀疑是多线程的锅，所以尝试了小半天的c++多线程调用python，顺便把筛选的资料附录在下面；也尝试了子线程加锁mutex。哦，忘记说了，多线程调用python时，也是给python解释器加锁。那下面就是C++多线程调用python的链接，按优先顺序排放。
  c++多线程调用python
  C++调用PythonAPI线程状态和全局解释器锁
  C++ 多线程调用Python脚本

• c++调用python类
  通过c++去调用python类的资料我收集了一部分。比如1).c++访问python3-实例化类的方法、2).c++ 调用 python 实例 涉及 类 多参数 列表作为参数、3).c++调用python的代码、函数、类。这些在传递numpy的时候没有找到合适的示例，这儿没有说明文档始终调不通。所以最后还是通过按照上面调用python函数的方法，创建一个全局类对象来调用完成。

• segmentation 错误 以及程序假死
  python异常时，c++调用python的报错信息不及时且信息少。所以，出现假死或段错误等奇怪的现象时，优先排查python代码

2) boost库的方式

1. 调包的基本结构 C++调用python并传递数组
2. debug出现的错误，主要是boost/numpy问题，安装之后还是出现找不到库的情况，stackoverflow上有个对话，是统一的问题，需要修改环境变量后解决了，先在这儿记下来吧
3. boost库的安装

cc.cpp

// c++:  cc.cpp
#define NPY_NO_DEPRECATED_API NPY_1_7_API_VERSION //需要放在numpy/arrayobject.h之前

#include<opencv/cv.hpp>
#include <Python.h>
#include <iostream>
#include <numpy/arrayobject.h>


using namespace cv;
using namespace std;

int main(int argc, char *argv[]) {
    wchar_t *program = Py_DecodeLocale(argv[0], NULL);
    cout << argv[0] << endl;
    if (program == NULL) {
        fprintf(stderr, "Fatal error: cannot decode argv[0]\n");
        exit(1);
    }
    Py_SetProgramName(program);  /* 不见得是必须的 */
    /* 非常重要，折腾的时间主要是因为这儿引起的【1】 */
    Py_Initialize();
    PyRun_SimpleString("import sys");
    PyRun_SimpleString("sys.path.append(\"/home/user/project/run_retina/build\")");
    import_array();
    /* 非常重要 */

    /* 读图 */
    Mat sml_img = imread("lena.jpg");

    /* 导入模块和函数，貌似两种方式都可以，不需要加.py，后面回再提到 */
    // PyObject *pName = PyUnicode_DecodeFSDefault("simple_module");
    PyObject *pName = PyUnicode_FromString("simple_module");
    /*这些检查也非常有帮助*/
    if (pName == NULL) {
        PyErr_Print();
        throw std::invalid_argument("Error: PyUnicode_FromString");
    }
    PyObject *pModule = PyImport_Import(pName);
    if (pModule == NULL) {
        PyErr_Print();
        throw std::invalid_argument("fails to import the module");
    }
    PyObject *pFunc = PyObject_GetAttrString(pModule, "super_resolution");
    if (pFunc == NULL) {
        PyErr_Print();
        throw std::invalid_argument("fails to PyObject_GetAttrString");
    }
    /* 准备输入参数 */
    PyObject *pArgs = PyTuple_New(2);
    if (!sml_img.isContinuous()) { sml_img = sml_img.clone(); }
    npy_intp dims[] = {sml_img.rows, sml_img.cols, 3};

    PyObject *pValue = PyArray_SimpleNewFromData(3, dims, NPY_UINT8, sml_img.data);
    PyTuple_SetItem(pArgs, 0, pValue);  /* pValue的引用计数被偷偷减一，无需手动再减 */
    PyTuple_SetItem(pArgs, 1, Py_BuildValue("i", 2));    /* 图像放大2倍 */
    /* 调用函数 */
    PyObject *pRetValue = PyObject_CallObject(pFunc, pArgs);
    /* 解析返回结果 */
    PyArrayObject *ret_array;
    PyArray_OutputConverter(pRetValue, &ret_array);
    npy_intp *shape = PyArray_SHAPE(ret_array);
    Mat big_img(shape[0], shape[1], CV_8UC3, PyArray_DATA(ret_array));
    imwrite("aa.jpg", big_img);
    /* 释放所有 */
    //Py_DECREF(...);
    return 0;
}

simple_module.py

# simple_module.py
import cv2 as cv
def simple_func(a,b):return a+b
def super_resolution(img, scale=4):
    height, width = img.shape[:2]
    dsize = (width*scale, height*scale)
    big_img = cv.resize(img, dsize)
    print(img.shape, big_img.shape)
    cv.imwrite('aaa.jpg',big_img)
    return big_img

多个numpy返回值

/* 解析返回结果 */
    PyArrayObject *r1, *r2, *r3, *r4, *r5, *r6;
    PyArg_UnpackTuple(pRetValue, "ref", 6, 6, &r1, &r2, &r3, &r4, &r5, &r6);
    npy_intp *shape1 = PyArray_SHAPE(r1);
    npy_intp *shape2 = PyArray_SHAPE(r2);
    npy_intp *shape3 = PyArray_SHAPE(r3);
    npy_intp *shape4 = PyArray_SHAPE(r4);
    npy_intp *shape5 = PyArray_SHAPE(r5);
    npy_intp *shape6 = PyArray_SHAPE(r6);
    std::cout << "shape[1]:" << shape1[0] <<
              " shape2:" << shape2[0] << "," << shape2[1] <<
              " shape3:" << shape3[0] <<
              " shape4:" << shape4[0] << "," << shape4[1] <<
              " shape5:" << shape5[0] <<
              " shape6:" << shape6[0] << "," << shape6[1] <<
              std::endl;

# 返回值的打印结果
#-#-#-#-#-#-#-#-#-#-
list_id float32 (11,)
list_track float32 float32 (20, 2) (11,)
list_box float32 (11, 4)
entran;pass_by;ratio float32 (3,)
entrance_line;rec float32 (4, 2)
#-#-#-#-#-#-#-#-#-#-
shape[1]:11 shape2:20,2 shape3:11 shape4:11,4 shape5:3 shape6:4,2

---

1. 代码c++ : cc.cpp ↩︎

2. 代码python :simple_module.py ↩︎