Week1：[任务三] 第一节计算图与动态图机制-CSDN博客

本文链接：https://blog.csdn.net/qq_42261092/article/details/119389920

本文详细介绍了计算图的概念，强调了其在自动求导中的作用，特别是叶子节点和requires_grad属性的重要性。同时，对比了动态图与静态图的区别，指出动态图在灵活性方面的优势。动态图允许开发者在运行时构建计算图，适合于不预先确定计算流程的场景。

摘要由CSDN通过智能技术生成

【目录】

计算图
动态图机制

1、计算图

计算图为求导提供方便
所有从y通向w导数的边之和（y节点到w节点的所有可能路径）

叶子节点

叶子节点是用户自己创建的节点，也就是不依赖其他张量的张量；

可以用 is_leaf 来判断其是否为叶子节点；

通过反向传播自动求解梯度的前提是：叶子节点且 requires_grad = True：

① 对于requires_grad没有设置为true的叶子节点，是不会自动求取其导数的，非叶子节点不能设置requires_grad

② 而对于非叶子节点，在自动求取梯度计算后，内存会被释放掉，其梯度不会被保存下来，如果该节点的梯度希望被保存下来，则执行：该节点.retain_grad；

#节点 .retain_grad() 在backward之前，不用hook时，简单查看非叶子节点的梯度

# ====================================== retain_grad ==============================================
flag = True
# flag = False
if flag:
    w = torch.tensor([1.], requires_grad=True)
    x = torch.tensor([2.], requires_grad=True)

    a = torch.add(w, x)
    b = torch.add(w, 1)
    y = torch.mul(a, b)

    a.retain_grad()
    y.backward()
    print(w.grad)
# use .retain_grad() on the non-leaf Tensor before backward.
    print(a.grad)