python 共享内存 模块_python-多处理中的共享内存

我有三个大名单。 前一个包含位数组(模块位数组0.8.0),其他两个包含整数数组。

l1=[bitarray 1, bitarray 2, ... ,bitarray n]

l2=[array 1, array 2, ... , array n]

l3=[array 1, array 2, ... , array n]

这些数据结构占用大量RAM(总计约16GB)。

如果我使用以下方法启动12个子流程:

multiprocessing.Process(target=someFunction, args=(l1,l2,l3))

这是否意味着将为每个子流程复制l1,l2和l3,或者子流程将共享这些列表? 或者更直接地说,我将使用16GB还是192GB的RAM?

someFunction将从这些列表中读取一些值,然后根据读取的值执行一些计算。 结果将返回到父进程。 列表l1,l2和l3不会被someFunction修改。

因此,我假设子流程不需要,也不会复制这些庞大的列表,而只是与父级共享它们。 意味着由于linux下的写时复制方法,该程序将占用16GB的RAM(无论我启动了多少个子进程)?我是对的还是我遗漏了一些会导致列表被复制的东西?

编辑:在阅读了有关该主题的更多内容后,我仍然感到困惑。 一方面,Linux使用写时复制,这意味着没有数据被复制。 另一方面,访问对象将更改其引用计数(我仍然不确定为什么以及这意味着什么)。 即使这样,是否会复制整个对象?

例如,如果我定义someFunction如下:

def someFunction(list1, list2, list3):

i=random.randint(0,99999)

print list1[i], list2[i], list3[i]

使用此功能是否意味着将为每个子流程完全复制l1,l2和l3?

有办法检查吗?

EDIT2在多了一点并监视子进程运行时系统的总内存使用情况之后,似乎确实为每个子进程复制了整个对象。 这似乎是因为引用计数。

在我的程序中,实际上不需要用于l1,l2和l3的引用计数。 这是因为l1,l2和l3将保留在内存中(不变),直到父进程退出。 在此之前,无需释放这些列表使用的内存。 实际上,我可以肯定的是,在程序退出之前,引用计数将保持高于0(对于这些列表和这些列表中的每个对象)。

所以现在问题变成了,我如何确保对象不会复制到每个子流程? 我是否可以禁用这些列表以及这些列表中每个对象的引用计数?

EDIT3只是一个附加说明。 子流程不需要修改l1、l2和l3或这些列表中的任何对象。 子流程仅需要能够引用其中一些对象,而无需为每个子流程复制内存。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值