沐神动手深度学习 04自动求导

最新推荐文章于 2024-04-08 19:53:50 发布

湖北小伙儿

最新推荐文章于 2024-04-08 19:53:50 发布

阅读量289

点赞数

分类专栏：机器学习代码注释深度学习文章标签：深度学习 pytorch python

本文链接：https://blog.csdn.net/weixin_41543441/article/details/124742726

版权

机器学习同时被 3 个专栏收录

6 篇文章 0 订阅

订阅专栏

代码注释

6 篇文章 0 订阅

订阅专栏

深度学习

6 篇文章 0 订阅

订阅专栏

本文深入探讨了使用PyTorch进行函数求导和梯度计算的过程，包括基本的向量乘法、求和操作以及在计算图中的应用。通过示例展示了如何计算函数y=2x⊤x关于列向量x的梯度，并解释了梯度累积和清零的重要性。此外，还涉及到了Python控制流中的梯度计算，以及如何处理detach()后的变量。最后，通过一个复杂的函数定义，展示了在深度学习中如何正确地进行反向传播计算。

摘要由CSDN通过智能技术生成

# 假设我们想对函数y=2x⊤x关于列向量x求导
import torch
x=torch.arange(4.0,requires_grad=True)
x

tensor([0., 1., 2., 3.], requires_grad=True)

y=2*torch.dot(x,x)
y

tensor(28., grad_fn=)

y.backward()
print(x.grad)

tensor([ 0., 4., 8., 12.])

x.grad==4*x

tensor([True, True, True, True])

x.grad.zero_()
# 需要将梯度清零，不然会累加。pytorch默认是这样
y=x.sum()
y.backward()
x.grad

tensor([1., 1., 1., 1.])

# 深度学习中 ，我们的目的不是计算微分矩阵，而是批量中每个样本单独计算的偏导数之和
x.grad.zero_()
y = x * x
y.sum().backward()
x.grad

tensor([0., 2., 4., 6.])

# 将某些计算移动到记录的计算图之外
x.grad.zero_()
y = x * x
u = y.detach()
# 将u看做一个常数
z = u * x
z.sum().backward()
x.grad == u

tensor([True, True, True, True])

x.grad.zero_()
y.sum().backward()
x.grad == 2 * x

tensor([True, True, True, True])

# 即使构建函数的计算图需要通过Python控制流（例如，条件、循环或任意函数调用），我们仍然可以计算得到的变量的梯度
def f(a):
    b = a * 2
    while b.norm() < 1000:
        b = b * 2
    if b.sum() > 0:
        c = b
    else:
        c = 100 * b
    return c

a = torch.randn(size=(), requires_grad=True)
#             a随机给定一个标量
d = f(a)
d.backward()

a.grad == d/a