深度学习2

BP神经网络可以分为两个过程。
一是正向过程，这个过程中，输入数据从输入层传入，然后经历各个隐含层，传到输出层，由输出层输出网络的预测值。

二是反向过程，在这个过程中，根据网络的误差，跟新隐含层和输入层的权值，以及隐含层的偏置值。反向过程也就是误差的反向传播，是BP神经网络的精髓所在。
BP(Back Propagation)神经网络的学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经隐层逐层处理后，传向输出层。若输出层的实际输出与期望输出不符，则转向误差的反向传播阶段。误差的反向传播是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。BP 神经网络的结构如下：
前向过程
前向过程的主要任务就是计算出网络的预测值，即输出层神经元的输出值，由于除了输入层，其他层神经元的输出值都与其前一层的神经元的输出值有关，所以计算出每个神经元的输入输出值。

反向过程
前向过程之后，为了减小网络的误差，即训练网络，需要根据误差来更新网络的权值与偏置值，反向过程就是完成这个的。

输入层：

第一层：

第二层：

代价函数：

2.反向推导过程

对W2求偏导：

对W1求偏导：

梯度下降更新权值：