RuntimeError: CUDA error: device-side assert triggered

--> 137             temp = torch.zeros((1, extra_length)).cuda()
    138             temp_rgb = torch.zeros((1, extra_length, 3)).cuda()

ipdb> n
RuntimeError: CUDA error: device-side assert triggered
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

今天遇到了一个莫名其妙的bug，创建temp并转移到cuda上时会出错。

在各个论坛查到，traceback报错的地方不一定是真正出错的地方。经个人尝试发现，就算用try, except抓到bug所在位置，然后单步调试也不一定是正确的位置。

本质上，错误原因一般是数组溢出。

解决方法：

1. cpu上运行：因为我的模型有点复制，改起来太麻烦了故作罢

stackoverflow上大佬的建议是能改成cpu就改成cpu，尝试复现一下error。因为cuda的报错traceback没有什么参考价值，改成cpu运行就能确定bug位置。

2. 参考报错信息，设置CUDA_LAUNCH_BLOCKING=1

CUDA_LAUNCH_BLOCKING=1 python xxx.py ...

这样设置参数执行语句就行了。

猜测这个操作大概是取消了线程的异步操作，让我们精准定位到bug所在位置。这样设置好以后报错的具体位置就正确了。