【深度学习基础】简单易懂理解BP算法

本文属于我的机器学习/深度学习系列文章，点此查看系列文章目录

前言

提起BP算法(Back Propagation)，相信学过深度学习的人都不陌生，在深层的网络中对权重参数的更新免不了要使用这个算法，所以BP算法也是入门深度学习的一个必须理解的算法。

写这篇文章的缘由是我自己对BP算法在此之前也是属于半懂（知道工作原理，不明白处理细节）的状态，看了网上许多文章，觉得讲的都不够简单，让刚入门的小白难以接受，产生劝退效果。因此，打算通过写一篇简单理解BP算法的文章，一方面提升自己对BP的理解，另一方面希望看到这篇文章的小伙伴能够掌握BP算法的原理，为以后的学习铺路。

1. 单层网络参数优化

BP算法是针对深层次网络进行参数更新的算法，因此需要先理解单层网络下，权重是如何被更新的。

1.1 模型定义

为了理解简便，我们采用最简单的线性分类模型
$$\mathbf{y}=f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b\text{\hspace{1em}(1)}$$
从公式容易看出，输入是一个向量$\mathbf{x}$，${\mathbf{w}}^T$是参数矩阵，$b$是偏置（对这些不了解的可以先看我这篇机器学习：线性分类问题（基础知识））。转换成网络图如下：

可以看出经过网络后，一个三维的输入向量转换成了一个二维的输出向量

例如得到输出向量为$\mathbf{y}=[0.7,0.3]$而真实的数据是$\hat{\mathbf{y}}=[1,0]$，那么说明模型的参数还不符合预期，存在误差，这时候就要定义损失函数将误差计算出来。

1.2 损失函数

损失函数是用于衡量预测输出和真实输出之间差距的，通常我们采用均方误差（有时候也用熵）：
$$loss(\mathbf{y},\hat{\mathbf{y}})=\frac{1}{2}\sum _{i=1}^N||\mathbf{y}-\hat{\mathbf{y}}|{|}^2\text{\hspace{1em}(2)}$$

这里$N$是输入的样本数量，每个样本输入都会得到一组$\mathbf{y},\hat{\mathbf{y}}$

有了损失相当于告诉我们模型还不够完善，要对模型优化（就是对权重更新），如何更新的步骤就是参数优化算法要干的事了

1.3 参数优化

相信大家也很熟悉参数优化采用的方式是梯度下降算法（更一般地是随机梯度下降），梯度下降的含义在于我们知道了误差，现在想要将误差减小，注意这里的参数是$\mathbf{w},b$，你可以简单理解为$x,y$一元函数优化的过程，下图展示了梯度下降：

如图，我们需要从实际的loss降到期望的最小loss，很显然，最快的方法就是验证导数最大的反方向下降，但是我们下降了一会，到了一个新的loss点的时候，原理的导数最大方向不是当前的导数最大方向了。因此，在梯度下降算法中常常有一个超参数叫做学习率($\alpha$),它控制了梯度下降的步长，告诉我们走一段之后重新计算梯度，再往下走。当基本稳定在某个点的时候就不需要再继续下降了。

上面是梯度下降的过程，让我们理解参数是如何被优化的，但同时也可引出三个常见问题的答案

• 梯度下降得到的最小loss是极值点，不是最值点
• 学习率不能太小，会使得收敛速度过慢，训练时间过长
• 学习率不能太大，会达不到区域最优，在附近震荡
  

到此一轮参数更新已经完成，实际训练中，往往要进行多个周期的更新达到更好的效果，即重复上面的步骤即可。

2. 多层网络的参数优化

上面的方法仅适用于单层（只有输入输出层）的参数优化，当遇到多层网络时，最后一层的参数依然可根据输出的损失，但如何将最后一层的损失传递到前一层，再更新前一层的参数就需要BP算法出马了。

2.1 多层网络模型设计

同样为了简便理解，我们采用一个稍微简单一些的多层网络描述BP算法，网络结构如下：

需要解释的地方是$f(a_1)=o_1$是，$a_1$是前面$\mathbf{x}$和$\mathbf{w},b$计算得到结果，$f$表示激活函数，用于添加非线性操作，使得网络能够处理非线性问题。$o_1$是该神经元的输出，也是下一层的输入

因此我们可以得到第$l$层和$l-1$层的关系公式如下所示：
a l = w l o l − 1 + b o l = f ( a l ) (3) \mathbf a_l = \mathbf w_l \mathbf o_{l-1}+b\\ \mathbf o_l = f(\mathbf a_l) \tag{3} al​=wl​o