动手学习深度学习笔记6-传播及计算图

一. 前向传播

定义：按顺序（从输入层到输出层）计算和存储神经网络中每层的结果。
第一层：
$$\mathbf{z}={\mathbf{W}}^{(1)}\mathbf{x},$$
激活函数：
$$\mathbf{h}=\varphi (\mathbf{z}).$$
第二层：
$$\mathbf{o}={\mathbf{W}}^{(2)}\mathbf{h}.$$
loss:
$$L=l(\mathbf{o},y).$$

正则化项：
$$s=\frac{\lambda }{2}\left(\Vert {\mathbf{W}}^{(1)}{\Vert }_F^2+\Vert {\mathbf{W}}^{(2)}{\Vert }_F^2\right),$$

目标函数：
$$J=L+s.$$

二. 反向传播

反向传播（backward propagation或backpropagation）指的是计算神经网络参数梯度的方法。
通过链式规则计算，从输出层遍历到输入层。求偏导。

三. 计算图

总结：

1. 前向传播按顺序计算和存储中间变量
2. 反向传播按相反顺序计算和匆匆中间变量和参数的梯度。
3. 训练过程中二者交替使用
4. 巡礼比预测需要更多的内存。