我很懒的
refer:
1. http://www.cnblogs.com/sunailong/p/5162748.html (subprocess模块)
2. http://blog.csdn.net/u013713010/article/details/53325438 (multiprocessing模块)
3. https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431927781401bb47ccf187b24c3b955157bb12c5882d000
一、multiprocessing.Queue和multiprocessing.Manager
在使用多进程通信的时候,先尝试了multiprocessing.Queue发现队列能存放的数据量较少,有一个默认值具体多少暂不清楚。Queue.put(xxx)不会因为你的数据太大而报错,只会在该语句所在进程结束时,multiprocessing.Process.join()会一直阻塞。父进程无法继续执行。
换用multiprocessing.Manager类创建的列表或者字典:
mgr=multiprocessing.Manager()
buffConmunicate=mgr.list() # mgr.dict()
这时,buffConmunicate里面存放大数据量没出错了(我放的np.array(shape=(102400,128,8))ok了)
二、进程锁multiprocessing.Lock
多进程可能操作同一个文件时,加上进程锁:lock=multiprocessing.Lock(),在需要协调的地方,加上
lock.acquire()
try:
xxxx
finally:
lock.release()
或者简单的:
with lock:
xxx