【机器学习】神经网络（二）——反向传播算法

前言：前篇博文神经网络（一）中我们使用了神经网络模型来识别0-9十个数字。但是，模型参数都是教程已经给好的，我们还没有知道这些参数是怎么训练出来的。本文就会介绍神经网络的学习算法——反向传播算法（Back Propagation, BP）。

一、反向传播算法
反向传播算法是目前用来训练人工神经网络的最常用且最有效的算法。其主要思想是：
(1)将训练集数据输入到神经网络的输入层，经过隐藏层，最后达到输出层并输出结果，这是神经网络的前向传播过程；
(2)由于神经网络的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；
(3)在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。

二、算法推导
1.神经网络的代价函数（cost function）：

$$J(\Theta)=-\frac{1}{m}\left[\sum_{i=1}^m\sum_{k=1}^Ky_k^{(i)}\log(h_\Theta(x^{(i)}))_k+(1-y_k^{(i)})\log(1-(h_\Theta(x^{(i)}))_k)\right]+\frac{\lambda}{2}\sum_{l=1}^{L-1}\sum_{i=1}^{s_l+1}\sum_{j=1}^{s_l+1}\left(\Theta_{ji}^{(l)} \right)^2$$
前一项的目的是使所有单元的误差和最小（采用对数损失函数），后一项是正则化项，旨在控制模型复杂度，防止过拟合；
对比Logistic回归：

J(θ)=−1m[∑i=1my(i)loghθ(x(