因为默认的file_descriptor共享策略使用文件描述符作为共享内存句柄,并且当DataLoader上有太多批次时,这将达到限制。
要解决此问题,您可以通过将其添加到脚本来切换到file_system策略。
在最后的import后面添加
import torch.multiprocessing
torch.multiprocessing.set_sharing_strategy('file_system')
因为默认的file_descriptor共享策略使用文件描述符作为共享内存句柄,并且当DataLoader上有太多批次时,这将达到限制。
要解决此问题,您可以通过将其添加到脚本来切换到file_system策略。
在最后的import后面添加
import torch.multiprocessing
torch.multiprocessing.set_sharing_strategy('file_system')