项目场景
调试 GitHub
项目bddoia_project
【Explainable Object-induced Action Decision for Autonomous Vehicles
论文代码】项目地址
问题描述
调试 GitHub
项目bddoia_project
,训练模型时出现BrokenPipeError: [Errno 32] Broken pipe
。
问题代码
dataloader = DataLoader(Dataset, batch_size=int(args.batch_size), num_workers=24, shuffle=False)
原因分析
Windows
下多线程的问题,和DataLoader
类有关。num_workers
参数官方API
解释:num_workers (int, optional) – how many subprocesses to use for data loading. 0 means that the data will be loaded in the main process. (default: 0)
该参数是指在进行数据集加载时,启用的线程数目。num_workers
参数必须大于等于0
,0
的话表示数据集加载在主进程中进行,大于0
表示通过多个进程来提升数据集加载速度。
解决方案
修改调用torch.utils.data.DataLoader()
函数时的 num_workers
参数,将num_works
参数修改为 0
,只启用一个主进程加载数据集,避免在Windows
使用多线程即可。
参考
https://blog.csdn.net/u014380165/article/details/79058479