神经网络反向传播算法推导（机器学习九）

背景介绍

反向传播算法是神经网络的一个关键步骤，通过反向传播算法，可以计算出假设函数对所有神经网络参数的偏导数。
　　神经网络算法的工作流程为：首先通过人工或其它算法确定特征$\mathbf{x}$，并随机初始化所有神经网络参数；然后运用正向传播算法计算出神经网络的输出值；接下来运用反向传播算法计算输出值对所有参数的偏导数；最后运用梯度下降算法更新所有的神经网络参数。

符号定义

首先，对神经网络进行如下符号定义：

符号	意义
$L$	神经网络的总层数（包括输入层、隐藏层和输出层）
$l$	第$l$层神经网络，$l=1，2，\cdots ，L$
$n$	输入层的单元数
$K$	输出层单元数
$S_l$	第$l$层神经网络的单元数
$a_i^{(l)}$	第$l$层的第$i$个单元
${\mathbf{a}}^{(l)}$	第$l$层所有单元值组成的向量，显然有${\mathbf{a}}^{(1)}=\mathbf{x}$，${\mathbf{a}}^{(L)}=h_{\mathbf{\Theta }}(\mathbf{x})$
${\Theta }_{ji}^{(l)}$	连接第$l$层的第$i$个单元和第$l+1$层的第$j$个单元的参数
${\mathbf{\Theta }}^{(l)}$	连接第$l$层和第$l+1$层的参数矩阵
$\mathbf{\Theta }$	所有神经网络参数组成的张量
$m$	训练集的样本数

正向传播算法

正向传播算法的计算过程如下所示：
　　　$\begin{array}{ll}{\mathbf{a}}^{(1)}=\mathbf{x}& \\ {\mathbf{a}}^{(2)}=[1;g(z^{(2)})],& z^{(2)}={\mathbf{\Theta }}^{(1)}{\mathbf{a}}^{(1)}\\ {\mathbf{a}}^{(3)}=[1;g(z^{(3)})],& z^{(3)}={\mathbf{\Theta }}^{(2)}{\mathbf{a}}^{(2)}\\ ⋮& \\ {\mathbf{a}}^{(L)}=[1;g(z^{(L)})],& z^{(L)}={\mathbf{\Theta }}^{(L-1)}{\mathbf{a}}^{(L-1}\\ h_{\mathbf{\Theta }}(\mathbf{x})={\mathbf{a}}^{(L)}& \end{array}$