深度学习笔记：误差反向传播（1）

1 计算图

计算图使用图（由节点和边构成的图）来表达算式。

如图，我们用节点代表运算符号，用边代表传入的参数，即可算出购买苹果和橘子的总价格。

2 计算图的局部计算

局部计算意味着每个节点只处理和其相关的运算，通过汇总各个节点计算结果得到最终答案。利用局部计算的性质我们可以通过局部推全局。如上例中如果我们直到总价格为715， 苹果的总价为200，我们可以直接推得橘子的总价，而不需要计算和橘子相关的节点。

计算图的优势之一就在于可以局部计算和保留中间计算结果

3 链式法则

链式法则（chain rule）是计算复合函数导数的一种方法。如z为t的函数，t为x的函数，那dz/dx就等于dz/dt • dt/dx

例：
z = t^2
t = x + y

∂z/∂x = ∂z/∂t • ∂t/∂x
= 2t • 1
= 2(x + y)

用计算图标示该链式法则计算

在正向传播中，x和y相加得到t，再平方得到z。我们节点输出∂z/∂z （就是1）乘以节点的局部偏导∂z/∂t（**2这一节点中z是关于t的函数，因此偏导为∂z/∂t）得到下一步输入∂z/∂t，在乘上t关于x函数节点偏导∂t/∂x即可得到∂z/∂x的值。

加法和乘法的反向传播

加法反向传播：输入值乘1

对于函数z = x + y。∂z/∂x 和 ∂z/∂y 的值都为1，因此在反向传播中只需要将 ∂L/∂z 乘1

class AddLayer:
    def __init__(self):
        pass

    def forward(self, x, y):
        out = x + y

        return out

    def backward(self, dout):
        dx = dout * 1
        dy = dout * 1

        return dx, d