反向传播算法

一． 概述

多层网络的学习拟合能力比单层网络要强大很多。所以想要训练多层网络,前面的简单感知机学习方法显然有些不足,需要拟合能力更加强大的算法。反向传播算法( Back Propagation,BP)是其中的经典方法,它可以说是现今最成功的神经网络算法,现实当中使用到神经网络时,大多是使用BP算法训练的。BP算法不仅可以用于多层前馈神经网络,还可以用于其他类型神经网络,例如LSTM模型,通常所说的BP网络,一般是用BP算法训练的多层前馈网络。

二． BP算法

我们可以先通过BP网络的走向图大致掌握以下反向传播算法的主要用处，从输入层开始，数据进入到网络中经过每一层的计算变化，最终得出实际输出。然后和期望输出做比较计算损失值，此时的损失值将按照反方向逐渐向前传播计算，通过梯度下降的方式优化网络中的参数，求取出符合要求的网络模型。如图1中所示：

图1：BP网络结构图

接下来我们将通过公式计算逐步的展示BP网络的基本结构。最开始要假设我们有一个固定训练集合{(x1,y1),…,(xm,ym)},它的样本总数为m。这样我们就可以利用批量梯度下降法来求解参数，也属于有监督学习方法。具体到每个样本(x,y),其代价函数为下式:

对于给定有m个样本的数据集，我们可