【解决bug】RuntimeError: cuda runtime error (77) : an illegal memory access was encountered at XXXXX

项目场景：

虚拟试穿项目训练：
项目场景：数据集准备完成，构建模型开始训练时，模型内部编码数据时:
input_label, masked_label, all_clothes_label = self.encode_input(label, clothes_mask, all_clothes_label)报错：
RuntimeError: cuda runtime error (77) : an illegal memory access was encountered at XXXXXX

    def encode_input(self, label_map, clothes_mask, all_clothes_label):
        size = label_map.size()
        oneHot_size = (size[0], 14, size[2], size[3])
        input_label = torch.cuda.FloatTensor(torch.Size(oneHot_size)).zero_()
        input_label = input_label.scatter_(1, label_map.data.long().cuda(), 1.0)
        # print(label_map.shape)
        masked_label = torch.cuda.FloatTensor(torch.Size(oneHot_size)).zero_()
        masked_label = masked_label.scatter_(1, (label_map * (1 - clothes_mask)).data.long().cuda(), 1.0)

        c_label = torch.cuda.FloatTensor(torch.Size(oneHot_size)).zero_()
        c_label = c_label.scatter_(1, all_clothes_label.data.long().cuda(), 1.0)

        input_label = Variable(input_label)

        return input_label, masked_label, c_label

---

问题描述：

RuntimeError: cuda runtime error (77) : an illegal memory access was encountered at XXXXXX
运行时出错：CUDA运行时错误（77）：在以下位置遇到了非法的内存访问。

masked_label = masked_label.scatter_(1, (label_map * (1 - clothes_mask)).data.long().cuda(), 1.0)  # [1, 1, 256, 192],[1, 1, 256, 192]

发生运算的两个tensor不在一个数量级，或者运算结果发生越界。

---

原因分析：

RuntimeError：运行时检查出来的错误。
an illegal memory access was encountered at 地址：内存非法访问，属于数据出了问题。
定位问题在：(label_map * (1 - clothes_mask)
检查发现，是label_map的元素有问题，它与clothes_mask来自输入数据集，追溯，就是数据集组成batch前，‘label’标签读取数据出了问题。shape是正确的,是值的问题，因为没有标准化。
此处：label_tensor = transform_A(label_data)

---

解决方案：

提示：具体解决方案：
解决办法：将运算的两个tensor的数量级统一，以免运算结果越界。
abel_tensor = transform_A(label_data)* 255.0

注，如果你不能判断你的bug是不是这类型，可以先排查，排查RuntimeError: cuda runtime error （77）bug请参见bolg。