神经网络中BP算法的推导

神经网络BP算法的推导

有关BP算法推导的文章数不胜数，但是好多只讲到了单样本的BP算法的推导，有些虽然讲到了多样本的BP算法的推导，但是没讲清楚甚至是讲错了的都有一些。

1. 单样本BP算法推导

关于单样本BP算法的推导，我以两层神经网络为例，即整个神经网络包含输入层、隐含层（一层）、输出层。如下
其中a[0]的计算如下

假定layer_1和layer_2的激活函数都是sigmoid函数，假设是二分类问题，损失函数为交叉熵函数。
基本的正向传播公式如下：

根据基本的正向传播公式可得到反向传播公式：

【注】上面公式中星号表示矩阵的乘法，点成表示对应元素相乘，上面公式推导其实涉及矩阵求导的一些基础知识，但是凭直觉以及各个量的维度关系也可以推导出这些公式。
下面是各个量的维度：

2. 多样本BP算法推导

继续延续上述的神经网络进行讲解
现在不是一个样本了而是多个样本，所以现在a和z的维度都要发生相应的改变，体现在维度一上。例：