使用 Python 多处理库处理 3D 数据

今天我们将介绍处理大量数据时非常方便的工具。我不会只告诉您可能在手册中找到的一般信息，而是分享一些我发现的小技巧，例如tqdm与 multiprocessing​imap​​一起使用、并行处理档案、绘制和处理 3D 数据以及如何搜索如果您有点云，则用于对象网格中的类似对象。​

那么我们为什么要求助于并行计算呢？如今，如果您处理任何类型的数据，您可能会面临与“大数据”相关的问题。每次我们有不适合 RAM 的数据时，我们都需要一块一块地处理它。幸运的是，现代编程语言允许我们生成在多核处理器上完美运行的多个进程（甚至线程）。（注意：这并不意味着单核处理器不能处理多处理。  这是关于该主题的堆栈溢出线程。）

今天，我们将尝试处理经常发生的计算网格和点云之间距离的 3D 计算机视觉任务。例如，当您需要在所有可用网格中找到定义与给定点云相同的 3D 对象的网格时，您可能会遇到此问题。

我们的数据由​​.obj​​​存储在​​.7z​​存档中的文件组成，这在存储效率方面非常出色。但是当我们需要访问它的确切部分时，我们应该努力。在这里，我定义了包装 7-zip 存档并提供底层数据接口的类。

类 Archive7z(基础):
def __init__ ( self , file , password = None ):
# ...
自我。文件={}
# ...
对于信息的文件。文件：
#创建一个知道磁盘位置的ArchiveFile实例
file = ArchiveFile ( info , pos , src_pos , folder , self , maxsize = maxsize )
# ...
自我。文件。追加(文件)
# ...
自我。文件映射。更新(［(X。文件名，X)为X的自我。文件］)
#从files_map字典返回ArchiveFile的方法
def getmember ( self , name ):
if isinstance ( name , ( int , long )):
尝试：
回归自我。文件［名称］
除 了 IndexError：
返回无
回归自我。文件映射。获取(名称，无)
类 Archive7(基础):
定义读取(自我)：
# ...
对于水平，编码器在枚举(自我。_folder。编码器)：
# ...
#获取解码器并解码底层数据
data = getattr ( self , decoder ) ( coder , data , level , num_coders )
返回数据

这个类几乎不依赖​​py7zlib​​​包，它允许我们在每次调用get方法时解压缩数据并为我们提供存档中的文件数。我们还定义了​​__iter__​​这将帮助我们map像在可迭代对象上一样在该对象上启动多处理。

您可能知道，可以创建一个 Python 类，从中可以实例化可迭代对象。该类应满足以下条件：覆盖​​__getitem__​​​返回​​self​​​和​​__next__​​​返回后续元素。我们绝对遵守这条规则。

上面的定义为我们提供了遍历存档的可能性，但 它是否允许我们 并行随机访问内容，这是一个有趣的问题，我在网上没有找到答案，但我们可以研究源代码​​py7zlib​​并尝试自己回答。

在这里，我提供了来自pylzma的代码片段：