简单粗暴PyTorch之autograd自动求导系统

刘大鸭

于 2020-08-09 11:20:55 发布

阅读量406

点赞数

分类专栏：简单粗暴Pytorch学习文章标签： pytorch 深度学习

本文链接：https://blog.csdn.net/qq_36642243/article/details/107890112

版权

本文详细介绍了PyTorch中的autograd模块，包括torch.autograd.backward()和torch.autograd.grad()的功能及使用区别。讨论了自动求导的过程，强调了梯度不自动清零、叶子节点requires_grad属性、禁止叶子节点进行in-place操作的原因，并提醒读者注意原位操作对ID的影响。

摘要由CSDN通过智能技术生成

autograd自动求导系统

一、autograd

一、autograd

torch.autograd.backward()
功能：自动求取梯度
• tensors: 用于求导的张量，如 loss
• retain_graph : 保存计算图
• create_graph : 创建导数计算图，用于高阶求导
• grad_tensors：多梯度权重
与上一篇博客中的y.backward()有何不同
在这里插入图片描述
debug后发现调用的是torch.autograd.backword()

    # grad_tensors：多梯度权重
    w = torch.tensor([1.], requires_grad=True)
    x = torch.tensor([2.], requires_grad=True)

    a = torch.add(w, x)     # retain_grad()
    b = torch.add(w, 1)
    
    y0 = torch.mul(a, b)    # y0 = (x+w) * (w+1)    dy0/dw = 5
    y1