简介
最近使用了 python 多进程中的共享列表和字典,发现在某些情况下出现:子进程中对共享列表/字典进行修改,但最终并没有起效
总结
在 python 多进程中,对共享列表/字典中的元素进行操作是不会起效的。
先举一个起效的正常用法:
import multiprocessing
def func(input_list, input_dict, i, k):
input_list.append(i)
input_dict[k] = i
if __name__ == '__main__':
a_list = multiprocessing.Manager().list()
a_dict = multiprocessing.Manager().dict()
pool = multiprocessing.Pool(processes=3)
pool.apply_async(func, (a_list, a_dict, 0, 'a'))
pool.apply_async(func, (a_list, a_dict, 1, 'b'))
pool.apply_async(func, (a_list, a_dict, 2, 'c'))
pool.close()
pool.join()
print(a_list)
print(a_dict)
# 输出
[0, 2, 1]
{'a': 0, 'c': 2, 'b': 1}
如果我们对列表/字典中的元素进行操作:
import multiprocessing
def func(input_list, input_dict, i, k):
input_list[i].append(i)
input_dict[k].append(i)
if __name__ == '__main__':
a_list = multiprocessing.Manager().list([[], [], []])
a_dict = multiprocessing.Manager().dict({'a': [], 'b': [], 'c': []})
pool = multiprocessing.Pool(processes=3)
pool.apply_async(func, (a_list, a_dict, 0, 'a'))
pool.apply_async(func, (a_list, a_dict, 1, 'b'))
pool.apply_async(func, (a_list, a_dict, 2, 'c'))
pool.close()
pool.join()
print(a_list)
print(a_dict)
# 输出
[[], [], []]
{'a': [], 'b': [], 'c': []}
可以看到,在子进程中对共享列表/字典的操作是无效的。事实上,即使在主进程这样操作也是无效的:
import multiprocessing
if __name__ == '__main__':
a_list = multiprocessing.Manager().list([[], [], []])
a_dict = multiprocessing.Manager().dict({'a': [], 'b': [], 'c': []})
a_list[0].append(1)
a_dict['a'].append(1)
print(a_list)
print(a_dict)
# 输出
[[], [], []]
{'a': [], 'b': [], 'c': []}