python多进程中传递变量

本文探讨了在Python多进程中对象拷贝的问题,指出多进程间传递的是对象的深拷贝而非浅拷贝,这对于理解多进程编程尤为重要。文章通过实际案例——使用openpyxl进行Excel文件的异步写入——解释了为何多进程不一定能提高此类任务的效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一句话,多进程传递的不是内存中的地址(浅拷贝),而是特码的整个对象(深拷贝),如果想操作同一对象还是使用队列或者其他的多进程共享变量的方法吧

遇到这个问题是对excel文件使用openpyxl写入的时候,希望能实现异步写入,使用协程发现没效果,初步估计应该是openpyxl的写入过程其实是cpu从内存中依次取了然后写入磁盘,并不是像网络请求那样,一个请求发出去cpu基本就不干活了,就处于接收响应的状态,所以同理,写入既然还是在使用cpu那多线程也凉了,毕竟GIL锁,使用多进程的时候,由于定义了很多全局变量,一个个去共享太麻烦,然后就偷懒只把写入函数另启进程去执行,结果发现,执行起来比正常单进程还慢,使用id函数查看了下两个对象内存中地址才发现,两个已经是不同的对象了,几万条数据的copy,再慢几秒也情有可原

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值