pytorch中的detach()函数的作用

detach()

官方文档中，对这个方法是这么介绍的。

• 返回一个新的从当前图中分离的 Variable。

• 返回的 Variable 永远不会需要梯度 如果 被 detach

• 的Variable volatile=True， 那么 detach 出来的 volatile 也为 True

• 还有一个注意事项，即：返回的 Variable 和 被 detach 的Variable 指向同一个 tensor

import torch
from torch.nn import init
from torch.autograd import Variable
t1 = torch.FloatTensor([1., 2.])
v1 = Variable(t1)
t2 = torch.FloatTensor([2., 3.])
v2 = Variable(t2)
v3 = v1 + v2
v3_detached = v3.detach()
v3_detached.data.add_(t1) # 修改了 v3_detached Variable中 tensor 的值
print(v3, v3_detached)    # v3 中tensor 的值也会改变

能用来干啥

可以对部分网络求梯度。

如果我们有两个网络 , 两个关系是这样的 现在我们想用 来为B网络的参数来求梯度，但是又不想求A网络参数的梯度。我们可以这样：

# y=A(x), z=B(y) 求B中参数的梯度，不求A中参数的梯度

y = A(x)
z = B(y.detach())
z.backward()