AI基础—pytorch2—自动求导

数学中的案例

假设$y=x^2,x=3$,那么我们对其求导的结果是这样的。

$$\frac{\partial y}{\partial x}=\frac{\partial x^2}{\partial x}=2x=6$$

$$\frac{\partial (\frac{\partial y}{\partial x})}{\partial x}=\frac{\partial (2x)}{\partial x}=2$$

在pytorch中，对于这样的计算（包括高纬度）是可以自动化进行的。

pytorch 自动求导实战

x = torch.tensor([3.],requires_grad=True)
y = torch.pow(x,2)

grad_1 = torch.autograd.grad(y,x,create_graph=True)
grad_2 = torch.autograd.grad(grad_1[0],x)


print(f"x:\n{x}")
print("-"*40)
print(f"y:\n{y}")
print("-"*40)
print(f"grad_1:\n{grad_1}")
print("-"*40)
print(f"grad_2:\n{grad_2}")
print("-"*40)

需要注意的点

• 梯度保存在tensor中是不会自动清零的
• 依赖于叶子节点的节点，其requires_grad默认设置为True
• 但是叶子节点也是无法执行inplace操作的

实战2 backward（）

但是，以上这种逐步求导的方法还是太麻烦，如果有很多重变量怎么办，难道要一层层求导吗？程序员们对自动化的追求是永不停歇的。一个函数全部求导！！！

w = torch.tensor([1.],requires_grad=True)
x = torch.tensor([2.],requires_grad=True)

a = torch.add(w,x)
b = torch.add(w,1)
y = torch.mul(a,b)

y.backward(retain_graph=True)

求导完成了。然后，结果已经保存在叶子节点的.grad属性中了。

print(f"w.grad:\n{w.grad}")
print(f"x.grad:\n{x.grad}")

print(f"a.grad:\n{a.grad}")