Python多进程其中共享变量坑

python 多进程使用multiprocess的库,网上有很多代码。但自己使用时有两个关于共享变量的坑。

  1. 如果想共享一个复杂点的变量,比如numpy矩阵,是不可以的,Manager自带的共享类型只有list,dict等这样简单的类型,且只能共享一层(不能说list里面加一个list也共享),所以如果自己想多个进程一起写一个numpy矩阵的时候,可以通过文件读写的方式,每一次写的时候从文件读取numpy矩阵,然后写入变量,然后在写入文件中。
  2. 按照上述方式需要注意的是需要加锁,共同写文件不加锁会出现问题。但这里有第二个坑,使用Lock加锁有两个,一个是multiprocess.Lock(), 一个是multiprocess.Manager().Lock(), 前者可以用与Process,但不能用于Pool,否则子进程直接不运行,后者可以用于Pool。
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值