【PyTorch】detach() 函数的作用

最新推荐文章于 2024-02-13 00:33:55 发布

Anova.YJ

最新推荐文章于 2024-02-13 00:33:55 发布

阅读量1.8w

点赞数 41

分类专栏： PyTorch 文章标签： pytorch python 深度学习

本文链接：https://blog.csdn.net/weixin_44246009/article/details/119653678

版权

PyTorch 专栏收录该内容

30 篇文章 4 订阅

订阅专栏

$\rm detach$ 意为分离，对某个张量调用函数 $\rm detach()$ 的作用是返回一个 $\rm Tensor$ ，它和原张量的数据相同，但 $\rm requires\_grad=False$ ，也就意味着 $\rm detach()$ 得到的张量不会具有梯度。这一性质即使我们修改其 $\rm requires\_grad$ 属性也无法改变。
记 $\rm detach()$ 得到的张量为 $\rm de$ ，后续基于 $\rm de$ 继续进行计算，那么反向传播过程中，遇到调用了 $\rm detach()$ 方法的张量就会终止 (强调: $\rm de$ 没有梯度)，不会继续向后计算梯度。

# In[]
import torch

# In[]
x = torch.ones(2,2,requires_grad=True)
y = torch.add(x,2)
de = y.detach()
z = torch.mul(de,de)*3
z.requires_grad = True
out = z.mean()

print(x)
print(y)
print(de)
print(z)
print(out)

# In[]
out.backward()
# print(x.grad)
# print(y.grad)
# print(de.grad)
print(z.grad)
'''
tensor([[0.2500, 0.2500],
        [0.2500, 0.2500]])
'''