yolo系列算法训练时loss出现nan值（GTX16xx系列显卡的问题）

1.首先
这个问题时由于GTX16xx系列显卡导致的，只要是使用GTX16xx系列显卡跑yolo系列算法的时候基本上都会遇到这个问题，真是搞得我头大，当我第一次遇到这个问题的时候，我只是简单地认为是学习率过大导致梯度爆炸，但是后来我上网查资料才发现问题出现在我的显卡上面，我的是GTX1650(还能再战)，GTX16xx系列显卡在cuda使用较新版本时会出现该问题。导致了PyTorch里面一些CUDA代码有些问题，就是fp16（float16）数据类型在卷积等一些运算的时候会出现nan值。导致了训练时候出现了nan值。
2.解决方法
解决方法一：
我在网上查询资料发现，这个问题用CPU跑的时候不会出现问题，但是使用CPU跑的速度可以说是比蜗牛还慢。
把PyTorch版本降为1.10.1和CUDA 10.2，这是我在网上查到的第一个解决问题的方案，我尝试过确实能解决问题，但是训练时长长了很多，而且现在PyTorch官方已经不怎么支持使用CUDA 10.2版本了。不推荐此方案，详情可点击点这里
解决方法二：
yolo算法存在nan值，及说明在训练的时候就出现问题了，所以我们要train.py里面作出修改，
一，在train.py中使用Crtl+F搜索amp把amp = check_amp(model)直接注释掉然后在下面把amp赋值为False，如下图：