BP神经网络算法学习及代码实现（含Python源码）

1.写在前面

BP神经网络算法作为作为机器学习最基础的算法，非常适合入门。透彻掌握其原理将对于今后的机器学习有很大的帮助。

2.BP神经网络推导

2.1前向传播

前向传播过程可以表示为：
$$O^{[l]}=\sigma \left(w^{[l]}{I}^{[l-1]}+b^{[l]}\right)$$

2.2反向传播

2.2.1求解梯度矩阵

假设函数 $f:R^{n\times 1}\to R$ 将输入的列向量（shape: $n\times 1$ ）映射为一个实数。那么，函数 $f$ 的梯度定义为：

${\nabla }_{x}f(x)=\left[\begin{array}{c}\frac{\partial f(x)}{\partial x_1}\\ \frac{\partial f(x)}{\partial x_2}\\ ⋮\\ \frac{\partial f(x)}{\partial x_n}\end{array}\right]$

同理，假设函数 $f:R^{m\times n}\to R$ 将输入的矩阵（shape: $m\times n$ ）映射为一个实数。函数 $f$ 的梯度定义为：

${\nabla }_{A}f(A)=[\begin{array}{cccc}\frac{\partial f(A)}{\partial A_{11}}& \frac{\partial f(A)}{\partial A_{12}}& \dots & \frac{\partial f(A)}{\partial A_{13}}\\ \frac{\partial f(A)}{\partial A_{21}}& \frac{\partial f(A)}{\partial A_{22}}& \dots & \frac{}{\partial A_{2n}}\\ ⋮& ⋮& \ddots & \\ \frac{\partial f(A)}{\partial A_{m1}}& \frac{\partial f(A)}{\partial A_{m2}}& \dots & \end{array}$