pytorch dataloader num_workers参数设置导致训练阻塞

参考：https://blog.csdn.net/qian1122221/article/details/88579684

问题描述：
最近在用RFBnet （源码是pytorch的）训练RSNA的比赛数据，除了要修改一点代码支持RSNA的数据集外（打算后续再写个博客），发现在使用dataloader读取数据时，如果设置num_workers为0，也就是用主进程读取数据，模型训练程序运行正常。如果设置num_workers为其他任何一个大于0的整数，也就是使用子进程读取数据时，训练程序会卡住,卡在训练之前，GPU使用率和显存占用率都为0。

 

解决过程：
由于是多进程就，用print调试大法，定位到是一行opencv代码的问题，在dataloader子类的__getitem__方法里面调用了

image_array = cv2.cvtColor(image_array, cv2.COLOR_GRAY2BGR)
所有子进程的代码都卡在这里了。之前也有遇到过类似的问题，python多进程调用opencv的代码会出现问题。于是就用numpy的concate替代了这个方法

image_array = np.concatenate([image