今天复现并改动一份代码的时候，发生了该错误：
RuntimeError: Caught RuntimeError in replica 0 on device 0.原代码可以再单卡上面正常运行。但因为自己的需要改成多GPU并行加载模型，然后就发生上述错误，并且还提示没有model.drop_path_prob这个属性！问题出现的原因可以看看这篇：https://blog.csdn.net/qq_30614451/article/details/106766551 简单来说：就是 网络模型的某个参数复制分配到 不同的GPU的时候，部分参数始终在GPU_0上
解决方案：
提前声明 需要用到的模型参数，如下图最后一行
我的self.drop_path_prob这个属性，在__init__（）函数的后面有直接使用，因为python中不需要特别预定义也可以直接使用变量。
但是torch.nn.DataParallel并不认可这种没有事先声明的变量，所以其他GPU没有拷贝这个drop_path_prob模型属性变量。
仅为个人拙劣的解决方案，做个笔记 ~0.0
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
