如何处理数据集加载多进程错误？

在MindSpore的数据集加载接口中，可以启动多进程模式加快数据处理速度，具体有2个API支持：

mindspore.dataset.GeneratorDataset

链接：https://www.mindspore.cn/docs/api/zh-CN/master/api_python/dataset/mindspore.dataset.GeneratorDataset.html#mindspore.dataset.GeneratorDataset

1mindspore.dataset.GeneratorDataset(source, column_names=None, column_types=None, schema=None, num_samples=None, num_parallel_workers=1, shuffle=None, sampler=None, num_shards=None, shard_id=None, python_multiprocessing=True, max_rowsize=6)

mindspore.dataset.m‍ap

链接：https://www.mindspore.cn/docs/api/zh-CN/master/api_python/dataset/mindspore.dataset.GeneratorDataset.html#mindspore.dataset.GeneratorDataset.map

1map(operations, input_columns=None, output_columns=None, column_order=None, num_parallel_workers=None, python_multiprocessing=False, cache=None, callbacks=None, max_rowsize=16, offload=None)

这两个API中，与多进程启动相关的参数是python_multiprocessing和max_rowsize。

python_multiprocessing决定是否启用多进程模式加快数据处理速度，而max_rowsize用于配置多进程模式下共享内存的大小，属于高级用法。

一般来说，只需要将python_multiprocessing设置为True在大多数情况下就可以使用。

如果打开了多进程模式，可能会碰到以下的错误，这里总结了一些常见的错误和解决办法。

错误1

核心报错信息是This might be caused by insufficient shm, and the recommended shm size is at least 5 GB.

原因：

系统可用的共享内存太小，可以通过df -h查看共享内存的大小，如下示例有500G的共享内存，妥妥的够用啦。

解决办法：

如果发现自身系统的 /dev/shm 不足5G，那确实会导致这个错误，有2个解决办法

• 关闭多进程模式，即设置python_multiprocessing=False。这样就会采用多线程模式进行加速，同样也会有一定的加速效果，也可以调节num_parallel_workers增加线程/进程数，以提高整体的数据处理效率。

• 申请更多的共享内存，可以参考博客上教程调整共享内存，如

   https://blog.csdn.net/Sunny_Future/article/details/100569637

错误2

核心报错信息是 OSError: [Errno 24] Too many open files.

这个错误可能会在非root用户下使用 多进程模式时触发

原因：

有几个可能的原因

• 如上一个错误所述，共享内存不足5G，导致无法使用。

• 如果发现/dev/shm超过5G，还是这个错误，则可能是非root用户可用资源的限制，可以通过ulimit -a查看非root用户可用资源

可以看到当前用户的可用open files数目只有2，这样很大程度就会抛出上述错误。

解决办法：

通过ulimit -a查看open files的数量，然后通过ulimit -n设置成较大的数值，如

重新启动训练就可以啦。

错误3

核心报错信息是 Insufficient shared memory available. Required: xxxxx, Available: xxxxx.

这个错误可能会在共享内存不够/处理的数据块过大时触发

原因：

• 可能有其他进程也在使用共享内存，使用df -h查看 /dev/shm 当前的可用大小

• 当前正在处理的数据非常大，导致其占用了过多的共享内存，使得共享内存不够用了

解决办法：

• 在允许的范围内，尽可能增大共享内存的大小，如 

  https://blog.csdn.net/Sunny_Future/article/details/100569637

• 检查数据处理时，是否正在处理过大的数据导致内存占用太多

• 通过mindspore.dataset.config.set_prefetch_size()减少数据管道中缓存的数据量

• 实在不行，通过mindspore.dataset.config.set_enable_shared_mem(False)关掉共享内存

欢迎投稿

欢迎大家踊跃投稿，有想投稿技术干货、项目经验等分享的同学，可以添加MindSpore官方小助手：小猫子（mindspore0328）的微信，告诉猫哥哦！

昇思MindSpore官方交流QQ群 : 486831414（群里有很多技术大咖助力答疑！）

MindSpore官方资料

GitHub : https://github.com/mindspore-ai/mindspore

Gitee : https : //gitee.com/mindspore/mindspore

官方QQ群 : 486831