在 0.4.0 版本之前, .data 的语义是 获取 Variable 的 内部 Tensor, 在 0.4.0 版本将 Variable 和 Tensor merge 之后, .data 和之前有类似的 语义, 也是 内部的 Tensor 的概念.
x.data 与 x.detach() 返回的 tensor 有相同的地方, 也有不同的地方:
相同:
- 都和 x 共享同一块数据
- 都和 x 的 计算历史无关
- requires_grad = False
不同:
- y=x.data 在某些情况下不安全,
import torch x = torch.FloatTensor([[1., 2.]]) w1 = torch.FloatTensor([[2.], [1.]]) w2 = torch.FloatTensor([3.]) w1.requires_grad = True w2.requires_grad = True d = torch.matmul(x, w1) d_ = d.data f = torch.matmul(d, w2) d_[:] = 1 f.backward() # 这段代码没有报错, 但是计算上的确错了 # 如果 打印 w2.grad 结果看一下的话, 得到 是 1, 但是正确的结果应该是 4.
上述代码应该报错, 因为:
- d_ 和 d 共享同一块数据,
- 改 d_ 就相当于 改 d 了
-
所以, release note 中指出, 如果想要 detach 的效果的话, 还是 detach() 安全一些.
-
但是, 代码并没有报错 , 但是计算上的确错了
import torch
x = torch.FloatTensor([[1., 2.]])
w1 = torch.FloatTensor([[2.], [1.]])
w2 = torch.FloatTensor([3.])
w1.requires_grad = True
w2.requires_grad = True
d = torch.matmul(x, w1)
d_ = d.detach() # 换成 .detach(), 就可以看到 程序报错了...
f = torch.matmul(d, w2)
d_[:] = 1
f.backward()