pytorch的detach()函数原理——手动演示

本人的学习记录，请多指点，欢迎交流讨论。

演示代码：

import torch
x = torch.arange(4.0, requires_grad=True)
y = x * x
u = y.detach()#调用之后u就不在是x的函数，变成一个常数
z = u * x#z等于一个常数乘x
z.sum().backward()
print(x.grad)

detach函数作用：它的主要作用是将张量（tensor）从计算图中分离。具体来说，detach() 方法会创建一个新的张量，其值与原始张量相同，但不再与计算图相关联，也就是说，新张量不再具有梯度信息。主要应用场景包括：阻止梯度的传播和将张量作为常量使用。——摘自ChatGPT

从Jupyter中的输出可以看出，detach()改变了是否带有grad_fn，grad_fn 是梯度函数（gradient function）的缩写。在张量（tensor）上执行的操作被称为计算图中的节点。grad_fn 属性存储了创建张量的操作的引用，用于构建梯度计算图。


具体计算过程手写如下：