自动求导笔记

torch.dot()它是向量(即只能是一维的张量)的对应位相乘再求和，返回一个tensor数值
requires_grad=True 是计算梯度时候存储梯度值用的
x.requires_grad_(True) 等价于x=torch.arange(4.0,requires_grad=True)
x.grad 就是x的梯度值
y.backward()调用反向传播函数后x.grad记录x的梯度，原始值是none
在默认情况下，PyTorch会累积梯度，我们需要清除之前的值，即在计算下一个函数前x.grad.zero_()

疑问

import torch

x = torch.arange(4.0,requires_grad=True)
x

x.grad

y=2*torch.dot(x,x)
y

y.backward()
x.grad

x.grad==4*x

x.grad.zero_()
y=x.sum()
y.backward
x.grad

为什么返回 0 0 0 0

如果计算z=yx y=xx时候z关于x的导数，要把y的值存在另一个位置
···
x.grad.zero_()
y = x * x
u = y.detach()
z = u * x

z.sum().backward()
x.grad == u
···