pytorch(fairseq) debug经验--CUDA ERROR: device-side assert triggered

痛苦又充实的回忆😂

在跑自己修改的模型时，遇到了这个令人摸不到头脑的问题，从网上的博客中查找，大部分是说，数据集的标签出了问题，从而导致越界，而在项目运行中一直使用的是同一个数据集，同时过去的实验代码都是在同一个数据集及预处理程序下使用的，所以果断排除该问题所导致的。
这个问题更坑的地方在于，他抱错的地方并不是错误发生的地方，这就导致了定位的困难，回去看日志信息，捕捉到了一条关键信息，Assertion srcIndex < srcSelectDimSize failed.
我意识到，是不是自己对模型的修改导致了某个地方发生了越界，这里分享一个debug的技巧，就是当在GPU上训练出现错误时，可以使用CPU进行调试，会获得丰富的调试信息，下面是我实际的错误信息（分别在GPU和CPU上调试时）：
GPU：

CPU：

可以发现在cpu下，可以十分明显的发现错误位置，是在reorder过程中的维度错误，也正是这一条信息，结束了我一下午的痛苦😂，如果早知道这个技巧就好了。

总结：

出现这个CUDA ERROR: device-side assert triggered问题大多是出现了越界等情况，但具体的错误原因，还是和你的代码有关，如果你的代码中包含有对数据集标签的处理，那么优先去考虑数据处理过程，如果使用的是预处理好的，基本可以排除这个错误，可以多考虑一下中间过程是否发生越界或者维度错误，而使用CPU进行调试可以十分方便的帮你定位错误的信息。