基于多层感知机的反向传播算法推导

机器学习课的作业，由于latex的公式编辑我很不熟悉，很多公式都没有编辑好，不过先发出来算了。后续我可能还会更新基于卷积神经网络的反向传播算法推导。

1. 前馈神经网络的反向传播推导

定义如下记号描述网络：

$L$：神经网络的层数

$n^l$:表示第$l$层神经元的个数

$f_l()$: 第$l$层神经元激活函数

$W^{\left(l\right)}\in R^{n^l\times n^{l-1}}$:表示第$l-1$层到第$l$层的权重矩阵

$b^{(l)}\in R^{n^l}$:表示第$l-1$层到第$l$层的偏置

$z^{(l)}\in R^{n^l}$:表示第$l$层的神经元状态

$a^{(l)}\in R^{n^l}$:表示第$l$层的神经元活性值

前馈神经网络通过下面公式进行信息传播：

$$z^{\left(l\right)}=W^{\left(l\right)}\bullet a^{\left(l-1\right)}+b^{\left(l\right)}$$

$$a^{\left(l\right)}=f_l\left(z^{\left(l\right)}\right)$$

公式也可以写成：

$$z^{\left(l\right)}=W^{\left(l\right)}\cdot f_l(z^{(}$$