关于Python multiprocessing.Array创建的共享内存无法删除的问题

        由于GIL（global interpretor lock）机制，Python多线程(multi-thread)操作，不是真正意义上的并行多线程（具体请看这）。因此，Python的并行工作一般采用多进程的方式进行(Multi-process)。多进程相对于多线程最大的问题的数据通信问题，特别是大数组的交换会很慢。

        最近项目组在实现Python多线程计算时，采用了pprocess库进行算法的并行。数据交换采用multiprocessing.Array创建数组，传给各个线程用于数据的交换。然而，计算过程中间出现了内存泄漏问题，导致最后内存不够。最后发现是，multiprocessing.Array创建的共享内存无法删除导致。

         先上简单测试代码：

import numpy as np
import multiprocessing as mp
import ctypes
import os
import time
import mmap

def parallel_doSomeWork(train_data):

    train_data[0, 0 ,0] = 1.0

def experiment(n):

    # creating shared varibale train_data, that can be accessed by multiprocessors
    train_data_s = mp.Array(ctypes.c_float, 100*n * 64 * 64)
    train_data = np.frombuffer(train_data_s.get_obj(), dtype=np.float32).reshape(100*n, 64, 64, 1)

    parallel_doSomeWork(train_data)
    train_data = 0
    train_data_s = 0
  
def main():

    for n in range(1,300):
        print("loop %d:" % n)
        # print memory usage info
        val = os.system("free -m")
        print val

        experiment(n)

        # print memory usage info
        val = os.system("free -m")
        print val
        print()
        print()

if __name__ == '__main__':
    main()

        我们用mp.Array创建了一个共享内存，用于多进程数据的交换。（由于原因与多进程无关，此处简单化parallel_doSomeWork）使用完毕后，我们将它置为0，“删除”其内存。在一般变量上，这个方法是简单快速有效的。然而，由于mp.Array的特殊性，并没有真正删除，shared memory显示内存依然被占用。

        最终解决方法：

        将train_data_s=0这一句替换为：

    dataheap = train_data_s.get_obj()._wrapper._heap
    datastate = train_data_s.get_obj()._wrapper._state
    arenaobj = datastate[0][0]
    arenaobj.buffer.close()
    heap.BufferWrapper._heap = heap.Heap()

         长话短说，原因一定是共享内存采用new的方式，在堆区新建了内存，而没有delete。想必multiprocessing一定有其原因。不过既然它本身不主动删，我们又需要删除，那我们就只好自己动手了。亲测300个循环下来并没有什么问题，方法应该是有效的。

         如果有大牛知道更好的解决方案，也请不吝指教。