我正在尝试使用cython来包装C库(fastText,如果它相关). C库类从磁盘加载一个非常大的数组.我的包装器从C库中实例化一个类来加载数组,然后使用cython内存视图和numpy.asarray将数组转换为numpy数组,然后调用torch.from_numpy来创建一个张量.
出现的问题是如何处理为阵列释放内存.
现在,当程序退出时,我得到释放的指针没有被分配.我希望这是因为C代码和numpy / pytorch都试图管理同一块RAM.
我可以简单地在C库中注释掉析构函数,但这感觉就像它将导致我在路上遇到不同的问题.
我该如何处理这个问题?是否有任何关于如何使用C和cython处理内存共享的最佳实践文档?
如果我修改C库以将数组包装在shared_ptr中,cython(和numpy,pytorch等)是否会正确共享shared_ptr?
如果问题是天真的,我道歉; Python垃圾收集对我来说非常神秘.
任何建议表示赞赏.
解决方法:
我可以想到三种合理的方法.我将在下面概述它们(即没有任何代码将完整,但希望它将很清楚如何完成它).
1. C拥有记忆; Cython / Python拥有一个指向C类的共享指针
(这看起来就像你一直在思考的那条线).
首先创建一个包含共享指针的Cython类
from libcpp.memory cimport shared_ptr
cdef class Holder:
cdef shared_ptr[cpp_class] ptr
@staticmethod
cdef make_holder(shared_ptr[cpp_class] ptr):
cdef holder = Holder() # empty class
holder.ptr = ptr
return holder
然后,您需要为Holder定义缓冲区协议.这允许以numpy数组和Cython内存视图都能理解的方式直接访问cpp_class分配的内存.因此,它们持有对Holder实例的引用,这反过来使cpp_class保持活动状态. (使用np.asarray(holder_instance)创建一个使用实例内存的numpy数组)
缓冲协议有点牵扯,但Cython有fairly extensive documentation,你应该可以很大程度上复制和粘贴他们的例子.您需要添加到Holder的两种方法是__getbuffer__和__releasebuffer__.
2. Python拥有内存;您的C类包含指向Python对象的指针
在此版本中,您将内存分配为numpy数组(使用Python C API接口).当你的C类以递减方式销毁数组的引用计数时,但是如果Python保存对该数组的引用,那么该数组可以比C类更长.
#include
#include
class cpp_class {
private:
PyObject* arr;
double* data;
public:
cpp_class() {
arr = PyArray_SimpleNew(...); // details left to be filled in
data = PyArray_DATA(reinterpret_cast(arr));
# fill in the data
}
~cpp_class() {
Py_DECREF(arr); // release our reference to it
}
PyObject* get_np_array() {
Py_INCREF(arr); // Cython expects this to be done before it receives a PyObject
return arr;
}
};
有关如何从C/C++分配numpy数组的详细信息,请参见the numpy documentation.如果定义复制/移动构造函数,请注意引用计数.
Cython包装器然后看起来像:
cdef extern from "some_header.hpp":
cdef cppclass cpp_class:
# whatever constructors you want to allow
object get_np_array()
3. C将数据的所有权转移到Python / Cython
在这个方案中,C分配数组,但Cython / Python负责解除分配.一旦转让所有权,C就无法访问数据.
class cpp_class {
public:
double* data; // for simplicity this is public - you may want to use accessors
cpp_class() :
data(new double[50])
{/* fill the array as needed */}
~cpp_class() {
delete [] data;
}
};
// helper function for Cython
inline void del_cpp_array(double* a) {
delete [] a;
}
然后使用cython.view.array class捕获分配的内存.这有一个用于销毁的回调函数:
from cython cimport view
cdef extern from "some_header.hpp":
cdef cppclass cpp_class:
double* data
# whatever constructors and other functions
void del_cpp_array(double*)
# later
cdef cpp_class cpp_instance # create this however you like
# ...
# modify line below to match your data
arr = view.array(shape=(10, 2), itemsize=sizeof(double), format="d",
mode="C", allocate_buffer=False)
arr.data = cpp_instance.data
cpp_instance.data = None # reset to NULL pointer
arr.callback_free_data = del_cpp_array
然后,arr可以与memoryview或numpy数组一起使用.
你可能不得不在使用void *或者使用del_cpp_array的char *时搞砸一下 – 我不确定Cython接口需要什么类型.
第一个选项可能是大多数要实现的工作,但只需要对C代码进行很少的更改.第二个选项可能需要更改您不想进行的C代码.第三种选择很简单,但意味着C不再能访问数据,这可能是一个缺点.
标签:pytorch,c,numpy,cython,fasttext
来源: https://codeday.me/bug/20190828/1751918.html