问题
我已经编写了一个神经网络分类器，该分类器可以获取海量图像(每张图像约1-3 GB)，将其打补丁，然后分别通过网络传递这些补丁。 培训的进行过程非常缓慢，因此我对其进行了基准测试，发现用大约50秒的时间将补丁从一个图像加载到内存(使用Openslide库 )，而仅需0.5秒的时间就可以将它们通过模型。
但是，我正在使用具有1.5Tb RAM的超级计算机，其中仅使用了约26 Gb。 数据集总计约500Gb。 我的想法是，如果我们可以将整个数据集加载到内存中，它将极大地加快训练速度。 但是我正在与一个研究团队合作，我们正在多个Python脚本之间进行实验。 因此，理想情况下，我想将一个脚本中的整个数据集加载到内存中，并能够在所有脚本中对其进行访问。
更多细节：
我们在单独的Docker容器中(在同一台机器上)运行各个实验，因此必须跨多个容器访问数据集。
图像以.tif格式存储。
我们只需要阅读图像，而无需编写。
我们只需要一次访问数据集的一小部分。
可能的解决方案
我发现了很多关于如何在多个Python脚本之间共享Python对象或内存中的原始数据的文章：
跨脚本共享Python数据
多处理模块中具有SyncManager和BaseManager的服务器进程|
肯定：可以由网络上不同计算机上的进程共享(可以由多个容器共享吗？)
可能的问题：根据文档显示，速度比使用共享内存慢。 如果我们使用客户端/服务器在多个容器之间共享内存，那会比从磁盘读取所有脚本的速度快吗？
可能的问题：根据此答案 ， M
最低0.47元/天 解锁文章
406
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
