pytorch 中的 .detach() .clone()

• pytorch tensor 中的 .clone() 和 .detach()

  detach() 的用法

  在写代码时经常能见到通过 tensor.detach().clone() 操作生成一个和原本 tensor 值相同的新 tensor

  为什么需要同时使用 .clone() 和 .detach() ，接下来通过代码进行说明

  1. 生成两个 tensor，并且求梯度

     a = torch.tensor([1.0, 1.0], requires_grad=True)
     b = torch.tensor([2.0, 2.0], requires_grad=True)
     loss = a@b
     loss.backward()
     print(a, b)
     print(a.grad, b.grad)
     

     输出结果：

     tensor([1., 1.], requires_grad=True) tensor([2., 2.], requires_grad=True)
     tensor([2., 2.]) tensor([1., 1.])

     可以看到 a, b 的梯度分别为 [2., 2.]，[1., 1.]

  2. 使用 a_=a.detch() 脱离计算图

     在上面的代码中加上 a_=a.detch() 并且使用 a_ 计算和 backward()

     <