我已经做了一些基本的性能和内存消耗的基准测试,我想知道是否有任何方法可以让事情变得更快。。。在我有一个巨大的70000个元素列表,其中有一个numpy ndarray,文件路径位于所述列表中的元组中。
我的第一个版本向python多进程模块中的每个进程传递了一个列表的切片副本,但是它会使ram的使用量爆炸性地超过20gb
第二个版本我把它移到全局空间,并通过索引(例如foo[I])访问它,在我的每个进程中循环,这似乎将它放入与进程共享的内存区域/CoW语义中,因此它不会爆炸内存使用(保持在~3g字节)
然而,根据性能基准测试/跟踪,应用程序的大部分时间似乎都花在“获取”模式中。。。
所以我想知道是否有什么方法可以将这个列表转换成某种类型的无锁/只读,这样我就可以省去部分获取步骤,从而进一步加快访问速度。在
编辑1:这是应用程序分析的前几行输出ncalls tottime percall cumtime percall filename:lineno(function)
65 2450.903 37.706 2450.903 37.706 {built-in method acquire}
39320 0.481 0.000 0.481 0.000 {method 'read' of 'file' objects}
600 0.298 0.000 0.298 0.000 {posix.waitpid}
48 0.271 0.006 0.271 0.006 {posix.fork}
编辑2:下面是列表结构的示例:
^{pr2}$
此后,SIM卡列表将是只读的。在