反向传播算法之要点(Backpropagation Algorithm)

反向传播算法之要点(Backpropagation Algorithm)

Introduction

反向传播是一个很简单的算法，一个学习过微积分的人就能够轻松的理解。本文希望能避免让人打不起精神来看的冗余繁杂，简洁地把反向传播的算法的推导过程和求解过程进行简洁、清晰的表述。

本文目标读者：

大概了解反向传播，但是还没有理解反向传播的公式推导过程。

反向传播的要点只有3个公式，首先在此做总结如下：

1. 符号解释：

符号	含义
$w_{ij}^l$	第l-1层第j个神经元输入到第l层第i个神经元时所要乘的权重
$b_i^l$	第l层第i个神经元的偏置
$z_i^l$	第l层第i个神经元的输入，$z_i^l={\sum }_j{w}_{ij}{a}_j^{l-1}+b_i^l$
$a_i^l$	第l层第i个神经元的输出，$a_i^l=activation(z_i^l)$
$C$	Cost function
${\delta }_i^l$	${\delta }_i^l=\frac{\partial C}{\partial z_i^l}$

tips:当没有加上下标的时候，表示一个列向量或矩阵

2. 3个基本公式

$$\frac{\partial C}{\partial w^l}={\delta }^l\cdot (a^{l-1}{)}^T$$

$$\frac{\partial C}{\partial b^l}={\delta }^l$$

$${\delta }^l=a^{\prime }(z^l)\odot ((w^{l+1}{)}^T{\delta }^{}$$