pytorch的detach()、detach_()和.data的用法

转发一篇描述detach()、detach_()和.data在阻断反向传播中的不同，写得很好，通过实验对比得出清晰结论。原文链接

这里只贴出得出的结论：

detach()
返回一个新的Variable，从当前计算图中分离下来的，但是仍指向原变量的存放位置,不同之处只是requires_grad为false，得到的这个Variable永远不需要计算其梯度，不具有grad。即使之后重新将它的requires_grad置为true,它也不会具有梯度grad这样我们就会继续使用这个新的Variable进行计算，后面当我们进行反向传播时，到该调用detach()的Variable就会停止，不能再继续向前进行传播

.data
如果上面的操作使用的是.data，效果会不同：这里的不同在于.data的修改不会被autograd追踪，这样当进行backward()时它不会报错，回得到一个错误的backward值

detach_()
将一个Variable从创建它的图中分离，并把它设置成叶子variable其实就相当于变量之间的关系本来是x -> m -> y,这里的叶子variable是x，但是这个时候对m进行了.detach_()操作,其实就是进行了两个操作：将m的grad_fn的值设置为None,这样m就不会再与前一个节点x关联，这里的关系就会变成x, m -> y,此时的m就变成了叶子结点然后会将m的requires_grad设置为False，这样对y进行backward()时就不会求m的梯度

这么一看其实detach()和detach_()很像，两个的区别就是detach_()是对本身的更改，detach()则是生成了一个新的variable比如x -> m -> y中如果对m进行detach()，后面如果反悔想还是对原来的计算图进行操作还是可以的但是如果是进行了detach_()，那么原来的计算图也发生了变化，就不能反悔了。