一个例子搞懂神经网络前向传播和反向传播

最近学习神经网络的前向和反向传播，读起来比较难懂，一大堆的公式推导，现在，我用一个例子来对前向传播和反向传播进行讲解。

我们要讲解的例子如下所示：

在上述例子中，我们设输入 $x1=0.1,x2=0.2$，各权重为 $w1=0.15,w2=0.25,w3=0.3,w4=0.35,w5=0.4,w6=0.36,w7=0.45,w8=0.5$ ，偏置项的值始终为1，其权重分别为 $b11=b12=0.3,b21=b22=0.6$ ，输出为 $o1=0.5,o2=1$，设隐藏层和输出层的激活函数都为 $sigmoid$ 函数。

1. 前向传播

1. 计算 $x\to h$
   设 $h1$ 的输入为 $inpu{t}_{h1}$，则可以计算出
   $$\begin{array}{rl}inpu{t}_{h1}& =w1\ast x1+w3\ast x2+b11\ast 1\\ & =0.15\ast 0.1+0.3\ast 0.2+0.3\ast 1\\ & =0.375\end{array}$$同理可计算出
   $$\begin{array}{rl}inpu{t}_{h2}& =w2\ast x1+w4\ast x2+b12\ast 1\\ & =0.25\ast 0.1+0.35\ast 0.2+0.3\ast 1\\ & =0.395\end{array}$$

2. 计算隐藏层
   由于激活函数为 $sigmoid$ 函数，所以，可以得到
   $$\begin{gathered} outpu{t}_{h1}=\frac{1}{1+e^{-inpu{t}_{h1}}}=0.5926665999540697 \\ outpu{t}_{h2}=\frac{1}{1+e^{-inpu{t}_{h2}}}=0.5974857658270161 \end{gathered}$$

3. 计算 $h\to o$
   设 $o1$ 的输入为 $inpu{t}_{o1}$，则可以计算出
   KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲ input_{o1} &= …同理可计算出
   $$\begin{array}{rl}inpu{t}_{o2}& =w6\ast outpu{t}_{h1}+w8\ast outpu{t}_{h2}+b22\ast 1\\ & =0.36\ast 0.5926665999540697+0.5\ast 0.5974857658270161+0.6\ast 1\\ & =1.1121028588969732\end{array}$$

4. 计算输出层
   由于激活函数为 $sigmoid$ 函数，所以，可以得到
   $$\begin{gathered} outpu{t}_{o1}=\frac{1}{1+e^{-inpu{t}_{o1}}}=0.7513705371459397 \\ outpu{t}_{o2}=\frac{1}{1+e^{-inpu{t}_{o2}}}=0.7525209414502783 \end{gathered}$$

2. 反向传播

反向传播实则就是求各个权重对损失函数的梯度，然后按照负梯度的方向对各个损失函数进行梯度下降处理。

1. 计算损失
   在这里，我们使用平方差损失来作为损失函数，由此可以得到总损失表达如下：
   $$\begin{array}{rl}{E}_{all}& =E_{o1}+E_{o2}\\ & =\frac{1}{2}(o1-outpu{t}_{o1}{)}^2+\frac{1}{2}(o2-outpu{t}_{o2}{)}^2\\ & =\frac{1}{2}(0.5-0.7513705371459397{)}^2+\frac{1}{2}(1-0.7525209414502783{)}^2\\ & =0.06221651568284743\end{array}$$下面我们以 $w5$ 为例，更新权重。

2. 计算偏导数
   为了更新 $w5$，使得更新后的 $w5$ 能够更加准确的拟合，我们需要计算出损失函数对 $w5$ 的偏导数，然后按照梯度下降的方向对 $w5$ 进行更新，$w5$ 的偏导数表示如下：
   $$\frac{\partial E_{all}}{\partial w5}=\frac{\partial E_{all}}{\partial outpu{t}_{o1}}\cdot \frac{\partial outpu{t}_{o1}}{\partial inpu{t}_{o1}}\cdot \frac{\partial inpu{t}_{o1}}{\partial w5}$$至于为什么这么表示呢，我们只截取一部分原图来讲解，请看下图
   
   上图中，与 $w5$ 有关系的我已经用红线画出来了， $w5$ 能够影响到最后结果的途径就是我红线画出来的东西，以上途径中包含三个部分，一是对 $w5$ 的加权，而是对 $o1$ 输入的激活函数，三是对激活后的输出进行的损失计算，这三个部分都有 $w5$ 的影响在里面，所以根据链式求导法则， $w5$ 的偏导数表示如上。
   对上面的每一部分进行计算
   $$\begin{array}{rl}\frac{\partial E_{all}}{\partial outpu{t}_{o1}}& =\frac{\partial [\frac{1}{2}(o1-outpu{t}_{o1}{)}^2+\frac{1}{2}(o2-outpu{t}_{o2}{)}^2]}{\partial outpu{t}_{o1}}\\ & \\ & =-(o1-outpu{t}_{o1})\\ & \\ & =0.2513705371459397\\ & \\ \frac{\partial outpu{t}_{o1}}{\partial inpu{t}_{o1}}& =\frac{\partial \frac{1}{1+e^{-inpu{t}_{o1}}}}{\partial inpu{t}_{o1}}\\ & \\ & =0.18681285305496176\\ & \\ \frac{\partial inpu{t}_{o1}}{\partial w5}& =\frac{\partial [w5\ast outpu{t}_{h1}+w7\ast outpu{t}_{h2}+b21\ast 1]}{\partial w5}\\ & \\ & =outpu{t}_{h1}=0.5926665999540697\end{array}$$ 所以有，
   $$\begin{array}{rl}\frac{\partial E_{all}}{\partial w5}& =\frac{\partial E_{all}}{\partial outpu{t}_{o1}}\cdot \frac{\partial outpu{t}_{o1}}{\partial inpu{t}_{o1}}\cdot \frac{\partial inpu{t}_{o1}}{\partial w5}\\ & \\ & =0.027831177385208006\end{array}$$

3. 更新权重
   得到了 $w5$ 的偏导数后，对其进行负梯度的更新，此时的更新需要设置一个学习率 $\eta$，它能够控制每一轮从负梯度中更新多少，这里我们设置 $\eta =0.3$，得到
   $$\begin{array}{rl}w5& =w5-\eta \ast \frac{\partial E_{all}}{\partial w5}\\ & \\ & =0.4-0.3\ast 0.027831177385208006\\ & =0.3916506467844376\end{array}$$按照同样的方式可以更新其他参数，需要注意的是，在更新 $w1$ 等参数时，其产生的影响会有不止一条路径，将其进行相加即可，如下图的红线即为 $w1$ 施加影响的路径：
   

按照上述方法反复进行前向传播、反向传播，即可不断更新权值，不断的优化神经网络，使损失逐渐减小。