RuntimeError: leaf variable has been moved into the graph interior（Pytorch报错）

有时候想在pytorch中修改训练过程中网络模型的参数。比如做网络稀疏化训练，对于某一层卷基层的参数，如果值小于一定阈值就想赋值为0，这时就需要实时修改网络模型的参数，如果直接修改会报错：

        RuntimeError: leaf variable has been moved into the graph interior

这是因为pytorch中会有叶子张量和非叶子张量之分，这个主要是为了节省内存或显存。pytorch中网络模型中的张量默认是叶子张量，系统会默认对其进行求导，其它都为非叶子张量，非叶子张量比如中间变量不会进行求导。如果直接对模型中的变量进行修改，那么

叶子张量会自动变成非叶子张量，不再被求导，就会爆出上述错误。

 

        可以通过添加with torch.no_grad():把需要修改的叶子张量包裹起来的，那么 梯度就不会被跟踪，也就能够顺利修改网络中的参数了，如下例，我是想对网络卷积层进行排序调换顺序，如果没有添加with torch.no_grad():就会报错，添加了就可以顺利执行了

               with torch.no_grad():
                      temp = module.weight[i]
                      module.weight[i] = module.weight[j]
                      module.weight[j] = temp

       参考文章：https://www.cnblogs.com/jiangkejie/p/13390377.html

                         https://zhuanlan.zhihu.com/p/69294347