Pytorch的坑之 RuntimeError: reduce failed to synchronize: device-side assert triggered

引言

这个问题不是显卡问题哦，而是你的模型问题。经过自己的实验和调研，发现总共可能产生的三个原因。

模型的分类和Loss的分类不一致

使用ssd的代码时，会报错（附ssd的代码地址：https://github.com/amdegroot/ssd.pytorch）
我要检测的目标有5种类别，所以我在data/config.py中的num_classes参数写了5，经过多方查找，发现了一个没注意到的细节，类别应该是5+1，那个1应该是背景。
还有一个原因就是标签的标号没有从0开始。

原因同样是类别导致，训练时写了多少类就应该是多少（包括背景）

训练过程参数爆炸

在训练的时候，长久累积某一个tensor，导致他的值过大产生nan。

还有可能是，某一个参数没有初始化，使得内存地址随意赋值，常出现于nn.paramter()的时候

输入Loss的tensor存在问题

对于pytorch的nn.BCELoss()，我一开始在输出层没有加任何激活函数，报错RuntimeError: reduce failed to synchronize: device-side assert triggered。
接下来我对输入加了sigmoid()激活函数，控制输出在(0,1)之间，那么最终解决了我们上面报错的问题。