Pytorch 报错解决：RuntimeError: one of the variables needed for gradient computation has been modified

在编程过程中遇到报错：

RuntimeError: one of the variables needed for gradient computation has been modified 

看了一下别人的debug经验分享，确定了自己的问题在于出现了inplace操作

            for k in range(0, cur_expert_num):
                for j in range(0, input_len):
                    cur_experts[k][j] = cur_experts[k][j] * cur_gate[j][k]

 无论是写成·a *= b还是a = a*b的形式都一样报错，所以必须新建一个变量写成c = a*b的形式，然后调用c进行后续计算，不然程序可能会存在梯度正向计算没问题但是无法反向传播的情况，这就是因为在梯度反向传播时如果出现了a = a*b、a = a+b之类的inplace操作，会导致原始的a找不到，因此无法传播梯度。

解决办法：

            len1 = len(cur_experts)
            len2 = len(cur_experts[0])
            len3 = len(cur_experts[0][0])
            change = torch.ones(len1, len2, len3)
            for k in range(0, cur_expert_num):
                for j in range(0, input_len):
                    change[k][j] = cur_experts[k][j] * cur_gate[j][k]

新建一个变量（tensor）来储存原先inplace计算的结果，然后在后续计算中原本需要调用cur_experts的地方全改成调用change，完美解决报错。