pytorch中的detach()和detach_.()

1.用法介绍

torch.tensor.detach()：从计算图中分类，并返回一个新的张量，并且这个新的张量的requires_grad的属性为False。

• 注意：detach()分离计算图中的张量old_tensor时，会产生新的张量new_tensor。如果没有对old_tensor进行赋值操作等修改，用backward()求梯度的时候，old_tensor的梯度是可以获得的。如果没有对old_tensor进行修改，old_tensor也会被修改，用backward()求梯度的时候，则会报错。

torch.tensor.detach_()：张量tensor会被从计算图中分离出来，并把它设置成叶子张量，并且这个分离出来的张量的requires_grad的属性为False。

• 注意：detach_()其实相当于将变量的依赖关系给剪断。已知有以下的依赖关系：$$x\to y\to z\to w\to h$$当对变量$z$进行detach_()操作时，依赖关系会变为以下两部分$$x\to y,z\to w\to h$$此时变量$z$的为第二个依赖关系的叶子节点，并且$z$的requires_grad的属性为False。