BP误差反向传播算法

BP算法

BP算法通过将输出误差反向传播，将误差分配到每个权值上，利用梯度更新对所有参数进行调整以达到输出累计误差最小

[图片来自Andrew Ng的machine learning课程]

为了简化概念，先不加上偏置单元
符号介绍
${z}_{i}^{l}$ :第$l$层第$i$节点的误差

${z}_{i}^{l}$:第$l$层第i节点的输入值

${a}_{i}^{l}$:第$l$层第$i$节点的输出值

${w}_{ji}^{l}$:第$l-1$层第i节点到第$l$层$j$节点的权值

h():节点的激活函数，如sigmod、tanh等

${m}_{l}^{}$:第$l$层的节点个数

根据网络图，有以下关系:
${a}_{i}^{l} = h({z}_{i}^{l})$

${z}_{i}^{l} = \sum_{j}^{{m}_{}^{l}}$${w}_{ji}^{l}{a}_{j}^{l-1}$
误差反向传播递推公式以及对任一参数更新推导如下（打符号好慢，直接上手工图片）