【深度学习】BP算法-误差逆传播算法详解

前些开始准备找实习找工作了，复习机器学习算法的时候发现BP算法又忘了，这次写博客记录一下，由于我矩阵知识不是很好，所以这篇文章没有以矩阵运算的方式来讲解。本文表面是原创，实际上参考了很多很多文章

符号与神经网络结构说明

$L$ : 当前神经网络的总层数
$n^l$ : 第$l$层神经元拥有的神经元个数
${\alpha }_i^l$ : 第$l$层神经网络中的第$i$个神经元的输入
${\beta }_i^l$ : 第$l$层神经网络中的第$i$个神经元的输出
$w_{ij}^l$ : 第$l$层神经网络中的第$i$个神经元的到第$l+1$层神经网络中的第$j$个神经元的权重
$b_j^l$ : 第$l$层神经网络中到第$l+1$层神经网络中第$j$个神经元的的偏置项（想不出来叫啥了）
$E$ : 神经网络的总损失
$f$ : 激活函数
$M$ : 总样本数
$x_{ij}$ : 第$i$个样本的第$j$个属性值（特征值，whatever）
$y_{ij}$ : 第$i$个样本的第$j$个输出的真实值
${\hat{y}}_{ij}$ : 神经网络对于第$i$个样本在第$j$个输出的预测值，也就是${\beta }_j^L$

一些准备知识

神经网络内部的运算

• 神经元的输入与输出的关系：${\beta }_i^l=f({\alpha }_i^l)$
• 第$l$层神经元与第$l+1$层神经元之间的关系：${\alpha }_j^{l+1}={\sum }_{k=1}^{n^l}{w}_{kj}^l{\beta }_k^l+b_j^l$
• 常用的均方损失：$E={\sum }_{m=1}^M\frac{1}{2}{\sum }_k^{n^L}(y_{mk}-{\hat{y}}_{mk}{)}^2$

求导的链式法则

• 如果$y=g(x),z=h(y)$，那么有$\frac{\partial z}{\partial x}=\frac{\partial z}{\partial y}\frac{\partial y}{\partial x}$
• 如果$y_1=g(x),y_2=h(x),z=k(y_1,y_2)$，那么有$\frac{\partial z}{\partial x}=\frac{\partial z}{\partial y_1}\frac{\partial y_1}{\partial x}+\frac{}{\partial y_2}$