深度学习模型报错+1：CUDA error: device-side assert triggered

场景：
前段时间在google的colab跑faster -RCNN模型时一直都没出问题，后面用Featurize租了一个服务器跑模型的时候，同样的代码却一直报错“CUDA error: device-side assert triggered”。
这两天可把我逼疯了，网上关于这种情况有好多博文介绍，大部分说的是标签越界，有的是损失函数计算出现问题。
我只能一步步debug，最好解决了自己的问题。

'''使用GPU跑的时候，这个函数报错“CUDA error: device-side assert triggered”'''
perm1 = torch.randperm(positive.numel(), device=positive.device)[:num_pos]
perm2 = torch.randperm(negative.numel(), device=negative.device)[:num_neg]

'''修改后，把device改为cpu'''
perm1 = torch.randperm(positive.numel(), device="cpu")[:num_pos]
perm2 = torch.randperm(negative.numel(), device="cpu")[:num_neg]

做个记录，希望能给同样情况的人一点帮助。