非常易懂的神经网络数学推导及Matlab源码

平时用python调包习惯了，最近正好有课程大作业，趁这个机会推导一下最简单的神经网络的传导过程。

输入$x$的shape是（M,N）的，其中M为样本量，N为单个样本的特征维度。

输入$y$的shape是（M,1）的，其中M为样本量，1为单个样本的标签。

隐藏层的神经元个数分别为N1和N2个。左下角有每个向量的shape，方便校正比对结果的正确性。

前向传播

前向传播比较好理解，就一步步推就好了，中间结果大概是这样变化的：

（M,N）—>（M,N1）—>（M,N2）—>（M,1）

$$z_1=x{w}_1+b_1$$
(M,N1)=(M,N)(N,N1)+(1,N1)
$$a_1=sigmoid(z_1)$$
(M,N1)=(M,N1)
$$z_2=a_1{w}_2+b_2$$
(M,N2)=(M,N1)(N1,N2)+(1,N2)
$$a_2=sigmoid(z_2)$$
(M,N2)=(M,N2)
$$z_3=a_2{w}_3+b_3$$
(M,1)=(M,N2)(N2,1)+(1,1)
$$a_3=sigmoid(z_3)$$
(M,1)=(M,1)

---

反向传播

首先了解一个sigmoid激活函数求导的性质，这对于后面的理解有帮助。

这是单个变量的求导（极其简单）：
$$a_{3i}=sigmoid(z_{3i})=\frac{1}{1+e^{-z_{3i}}}$$
∂ a 3 i ∂ z 3 i = e − z 3 i ( 1 + e − z 3 i ) 2 = a 3 i × ( 1 − a 3 i ) \frac{\partial a_{3i}}{\partial z_{3i}}=\frac{e^{-z_{3i}}}{(1+e^{-z_{3i}})^2}=a_{3i}\times(1-a_{3i})