1 计算图
计算图使用图(由节点和边构成的图)来表达算式。
如图,我们用节点代表运算符号,用边代表传入的参数,即可算出购买苹果和橘子的总价格。
2 计算图的局部计算
局部计算意味着每个节点只处理和其相关的运算,通过汇总各个节点计算结果得到最终答案。利用局部计算的性质我们可以通过局部推全局。如上例中如果我们直到总价格为715, 苹果的总价为200,我们可以直接推得橘子的总价,而不需要计算和橘子相关的节点。
计算图的优势之一就在于可以局部计算和保留中间计算结果
3 链式法则
链式法则(chain rule)是计算复合函数导数的一种方法。如z为t的函数,t为x的函数,那dz/dx就等于dz/dt • dt/dx
例:
z = t^2
t = x + y
∂z/∂x = ∂z/∂t • ∂t/∂x
= 2t • 1
= 2(x + y)
用计算图标示该链式法则计算
在正向传播中,x和y相加得到t,再平方得到z。我们节点输出∂z/∂z (就是1)乘以节点的局部偏导∂z/∂t(**2这一节点中z是关于t的函数,因此偏导为∂z/∂t)得到下一步输入∂z/∂t,在乘上t关于x函数节点偏导∂t/∂x即可得到∂z/∂x的值。
加法和乘法的反向传播
加法反向传播:输入值乘1
对于函数z = x + y。∂z/∂x 和 ∂z/∂y 的值都为1,因此在反向传播中只需要将 ∂L/∂z 乘1
class AddLayer:
def __init__(self):
pass
def forward(self, x, y):
out = x + y
return out
def backward(self, dout):
dx = dout * 1
dy = dout * 1
return dx, d