BP算法精讲(从原理到数学推导)

首先介绍一下，博主是受到了这个视频的启发https://www.bilibili.com/video/av16577449。在此基础之上，使用数学的语言对我们的BP算法进行了相应的推导。因此在看文章前，可以先看一下这个视频，从而对我们的BP算法有一个直观的理解，这样也有助于你理解我们的运算。

这里是一个具有两个隐藏层的前馈神经网络，我们的目的就是更新他们的权值，使得网络可以满足我们的要求。
实际上神经网络的就是一个大型的方程组，本质上还是线性代数，因此我们看到这个没有必要太恐慌。由于上面这个图看着有点复杂，所以我们要做的是对它进行简化。然后我们由简化的模型推理出复杂的模型。
于是我们可以先对以下的模型进行理解：

对于上面这个单输入-单输出的网络来说。若我们对它进行了权值初始化（即随机选取了初值）如下图所示。我们的期望输出是1，即希望这个网络的输出神经元要激活。

那么这里网络的输出就是3.25*w1 * w2 *w3=0.004875。
看起来这个输出和我们希望的输出差的很多，所以我们要修正w1,w2以及w3的权值。这里修正我们可以使用梯度下降法。我们使用评价函数（有些书也叫作代价函数）