python列表添加元素为什么是只读的_Python中的无锁只读列表?

我已经做了一些基本的性能和内存消耗的基准测试,我想知道是否有任何方法可以让事情变得更快。。。在我有一个巨大的70000个元素列表,其中有一个numpy ndarray,文件路径位于所述列表中的元组中。

我的第一个版本向python多进程模块中的每个进程传递了一个列表的切片副本,但是它会使ram的使用量爆炸性地超过20gb

第二个版本我把它移到全局空间,并通过索引(例如foo[I])访问它,在我的每个进程中循环,这似乎将它放入与进程共享的内存区域/CoW语义中,因此它不会爆炸内存使用(保持在~3g字节)

然而,根据性能基准测试/跟踪,应用程序的大部分时间似乎都花在“获取”模式中。。。

所以我想知道是否有什么方法可以将这个列表转换成某种类型的无锁/只读,这样我就可以省去部分获取步骤,从而进一步加快访问速度。在

编辑1:这是应用程序分析的前几行输出ncalls tottime percall cumtime percall filename:lineno(function)

65 2450.903 37.706 2450.903 37.706 {built-in method acquire}

39320 0.481 0.000 0.481 0.000 {method 'read' of 'file' objects}

600 0.298 0.000 0.298 0.000 {posix.waitpid}

48 0.271 0.006 0.271 0.006 {posix.fork}

编辑2:下面是列表结构的示例:

^{pr2}$

此后,SIM卡列表将是只读的。在

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值