本文介绍了计算图的概念，包括计算图的定义、元素以及如何用计算图表示运算。并详细阐述了计算图在梯度求导中的作用，特别是叶子结点和反向传播过程中的梯度记录。此外，还探讨了Pytorch中的动态图机制，强调了动态图的灵活性和静态图的效率特性。
一、计算图
1.1 计算图定义
定义： 计算图是用来描述运算的有向无环图
计算图有两个主要元素：
- 结点(Node)：表示数据，如向量，矩阵，张量
- 边(Edge)：表示运算，如加减乘除卷积等
示例：
用计算图表示：y = (x + w)*(w + 1)
- a = x + w
- b = w + 1
- y = a * b
1.2 计算图与梯度求导
y=(x + w)*(w + 1)
- a = x + w
- b = w + 1
- y = a * b
∂ y ∂ w = ∂ y ∂ a ∂ a ∂ w + ∂ y ∂ b ∂ b ∂ w = b × 1 + a × 1 = b + a = ( w + 1 ) × ( x + w ) = 2 × w + x + 1 = 2 × 1 + 2 + 1 = 5 \frac{\partial y}{\partial w}=\frac{\partial y}{\partial a} \frac{\partial a}{\partial w}+\frac{\partial y}{\partial b} \frac{\partial b}{\partial w} \\ \quad = b\times1+a \times 1 \\ \quad = b + a \\ \quad = (w + 1) \times (x + w) \\ \quad =2\times w +x + 1 \\ \quad =2 \times 1 + 2 + 1 = 5 ∂w∂y=∂a
最低0.47元/天 解锁文章
扫一扫
584
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
