Python数组到C语言中,在Cython中处理C数组(使用numpy和pytorch)

我正在尝试使用cython来包装C库(fastText,如果它相关). C库类从磁盘加载一个非常大的数组.我的包装器从C库中实例化一个类来加载数组,然后使用cython内存视图和numpy.asarray将数组转换为numpy数组,然后调用torch.from_numpy来创建一个张量.

出现的问题是如何处理为阵列释放内存.

现在,当程序退出时,我得到释放的指针没有被分配.我希望这是因为C代码和numpy / pytorch都试图管理同一块RAM.

我可以简单地在C库中注释掉析构函数,但这感觉就像它将导致我在路上遇到不同的问题.

我该如何处理这个问题？是否有任何关于如何使用C和cython处理内存共享的最佳实践文档？

如果我修改C库以将数组包装在shared_ptr中,cython(和numpy,pytorch等)是否会正确共享shared_ptr？

如果问题是天真的,我道歉; Python垃圾收集对我来说非常神秘.

任何建议表示赞赏.

解决方法:

我可以想到三种合理的方法.我将在下面概述它们(即没有任何代码将完整,但希望它将很清楚如何完成它).

1. C拥有记忆; Cython / Python拥有一个指向C类的共享指针

(这看起来就像你一直在思考的那条线).

首先创建一个包含共享指针的Cython类

from libcpp.memory cimport shared_ptr

cdef class Holder:

cdef shared_ptr[cpp_class] ptr

@staticmethod

cdef make_holder(shared_ptr[cpp_class] ptr):

cdef holder = Holder() # empty class

holder.ptr = ptr

return holder

然后,您需要为Holder定义缓冲区协议.这允许以numpy数组和Cython内存视图都能理解的方式直接访问cpp_class分配的内存.因此,它们持有对Holder实例的引用,这反过来使cpp_class保持活动状态. (使用np.asarray(holder_instance)创建一个使用实例内存的numpy数组)

缓冲协议有点牵扯,但Cython有fairly extensive documentation,你应该可以很大程度上复制和粘贴他们的例子.您需要添加到Holder的两种方法是__getbuffer__和__releasebuffer__.

2. Python拥有内存;您的C类包含指向Python对象的指针

在此版本中,您将内存分配为numpy数组(使用Python C API接口).当你的C类以递减方式销毁数组的引用计数时,但是如果Python保存对该数组的引用,那么该数组可以比C类更长.

#include

#include

class cpp_class {

private:

PyObject* arr;

double* data;

public:

cpp_class() {

arr = PyArray_SimpleNew(...); // details left to be filled in

data = PyArray_DATA(reinterpret_cast(arr));

# fill in the data

}

~cpp_class() {

Py_DECREF(arr); // release our reference to it

}

PyObject* get_np_array() {

Py_INCREF(arr); // Cython expects this to be done before it receives a PyObject

return arr;

}

};

有关如何从C/C++分配numpy数组的详细信息,请参见the numpy documentation.如果定义复制/移动构造函数,请注意引用计数.

Cython包装器然后看起来像：

cdef extern from "some_header.hpp":

cdef cppclass cpp_class:

# whatever constructors you want to allow

object get_np_array()

3. C将数据的所有权转移到Python / Cython

在这个方案中,C分配数组,但Cython / Python负责解除分配.一旦转让所有权,C就无法访问数据.

class cpp_class {

public:

double* data; // for simplicity this is public - you may want to use accessors

cpp_class() :

data(new double[50])

{/* fill the array as needed */}

~cpp_class() {

delete [] data;

}

};

// helper function for Cython

inline void del_cpp_array(double* a) {

delete [] a;

}

然后使用cython.view.array class捕获分配的内存.这有一个用于销毁的回调函数：

from cython cimport view

cdef extern from "some_header.hpp":

cdef cppclass cpp_class:

double* data

# whatever constructors and other functions

void del_cpp_array(double*)

# later

cdef cpp_class cpp_instance # create this however you like

# ...

# modify line below to match your data

arr = view.array(shape=(10, 2), itemsize=sizeof(double), format="d",

mode="C", allocate_buffer=False)

arr.data = cpp_instance.data

cpp_instance.data = None # reset to NULL pointer

arr.callback_free_data = del_cpp_array

然后,arr可以与memoryview或numpy数组一起使用.

你可能不得不在使用void *或者使用del_cpp_array的char *时搞砸一下 – 我不确定Cython接口需要什么类型.

第一个选项可能是大多数要实现的工作,但只需要对C代码进行很少的更改.第二个选项可能需要更改您不想进行的C代码.第三种选择很简单,但意味着C不再能访问数据,这可能是一个缺点.

标签：pytorch,c,numpy,cython,fasttext

来源： https://codeday.me/bug/20190828/1751918.html