[Deep Learning] 反向传播算法（Backpropagation Algorithm）

Chain Rule（链式法则）

---

Case 1

如果有：

$$y=g(x)z=h(y)$$

那么“变量影响链”就有：

$$\Delta x\to \Delta y\Delta z$$

因此就有：

$$\frac{dz}{dx}=\frac{dz}{dy}\frac{dy}{dx}$$

Case 2

如果有：

$$y=g(s)y=h(s)z=k(x,y)$$

那么“变量影响链”就有：

因此就有：

$$\frac{dz}{ds}=\frac{\partial z}{\partial x}\frac{dx}{ds}+\frac{\partial z}{\partial y}\frac{dy}{ds}$$

Backpropagation（反向传播算法）——实例讲解

---

定义

反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。 该方法对网络中所有权重计算损失函数的梯度。 这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。（误差的反向传播）——维基百科

说明

假设现在有N个样本数据，那么实际上损失函数可以表示为：

$$L(\theta )=\sum _{n=1}^N{l}^n(\theta )$$

其中$\theta$为需要学习的参数。

那么现在$\omega$对$L$进行偏微分，实际上是对每个样本数据的损失函数$l(\theta )$进行偏微分后再求和：

$$\frac{\partial L(\theta )}{\partial \omega }=\sum _{n=1}^N\frac{\partial l^n(\theta )}{\partial \omega }$$

用代数表示为：

$$z_1={\omega }_{11}{x}_1+{\omega }_{12}{x}_2+b_1{a}_1=\sigma (z_1)$$

$$z_2={\omega }_{21}{x}_1+{\omega }_{22}{x}_2+b_2{a}_2=\sigma (z_2)$$

$$z_3={\omega }_{31}{a}_1+{\omega }_{32}{a}_{}$$