简单粗暴PyTorch之autograd自动求导系统

一、autograd

torch.autograd.backward()
功能：自动求取梯度
• tensors: 用于求导的张量，如 loss
• retain_graph : 保存计算图
• create_graph : 创建导数计算图，用于高阶 求导
• grad_tensors：多梯度权重
与上一篇博客中的y.backward()有何不同

debug后发现调用的是torch.autograd.backword()

    # grad_tensors：多梯度权重
    w = torch.tensor([1.], requires_grad=True)
    x = torch.tensor([2.], requires_grad=True)

    a = torch.add(w, x)     # retain_grad()
    b = torch.add(w, 1)
    
    y0 = torch.mul(a, b)    # y0 = (x+w) * (w+1)    dy0/dw = 5
    y1