神经网络与深度学习笔记——反向传播算法原理

神经网络与深度学习笔记系列一共有五个专题，分别是
第一章使用神经网络进行手写数字识别——梯度下降算法是什么主要介绍了神经网络的基础例如感知器激活函数等概念，最主要介绍了梯度下降算法。
第二章反向传播算法如何工作——反向传播算法的原理主要介绍了反向传播算法的工作原理。

第三章改变神经网络的学习方法——代价函数，规范化，过拟合。主要介绍了不同的代价函数，以及规范化等对传统代价函数的改造。

第四章深度神经网络为何难以训练——梯度消失和爆炸。主要介绍了梯度消失问题和梯度爆炸问题。

第二章反向传播算法如何工作

反向传播算法实质上是一种计算梯度的快速算法。

2.1神经网络中的矩阵计算

我们首先规定一下网络中权重w和偏置b的表示方法。表示从层的第k个神经元到第层第j个神经元的权重。同样，用表示第第j个神经元的偏执，用表示第层的第j个神经元的激活函数值。如下图所示。

权重的表示：

偏置和激活值的表示：

那么，我们计算第