模型参数、梯度更新步骤【初始化参数、前向传播得到模型输出值、计算输出值与目标值之间损失Loss、反向传播梯度下降更新参数 】

一、单层、单一输出“感知机”梯度

二、单层、多输出“感知机”梯度

三、多层、多输出“感知机”梯度

二、反向传播算法-链式法则

1、计算图和反向传播

计算图：通过图的方式来描述函数的图形

已知$J(a,b,c)=3(a+bc),令v=bc,u=a+v$,求a，b，c各自的偏导数。

$$\begin{array}{rl}令:& a+bc=u,即：J=3u\\ \frac{dJ}{da}& =\frac{dJ}{du}\times \frac{du}{da}=3\times 1\\ \frac{dJ}{db}& =\frac{dJ}{du}\times \frac{du}{dv}\times \frac{dv}{db}=3\times 1\times c\\ \frac{dJ}{dc}& =\frac{dJ}{du}\times \frac{du}{dv}\times \frac{dv}{dc}=3\times 1\times b\end{array}$$

把$J=3(a+bc),令v=bc,u=a+v$绘制成计算图可以表示为：

绘制成为计算图之后，可以清楚的看到向前计算的过程

之后，对每个节点求偏导可有：

那么反向传播的过程就是一个上图的从右往左的过程，自变量$a,b,c$各自的偏导就是连线上的梯度的乘积：

$$\begin{array}{rl}\frac{dJ}{da}& =3\times 1\\ \frac{dJ}{db}& =3\times 1\times c\\ \frac{dJ}{dc}& =3\times 1\times b\end{array}$$

2、 神经网络中的反向传播

2.1 神经网络的示意图

$W1,W2,....Wn$表示网络第n层权重

$Wn[i,j]$表示第 $n$ 层第 $i$ 个神经元，连接到第 $n+1$ 层第 $j$ 个神经元的权重。

2.2 神经网络的计算图

其中：

1. $\nabla out$是根据损失函数对预测值进行求导得到的结果
2. $f$ 函数可以理解为激活函数

问题：那么此时$W_1[1,2]$的偏导该如何求解呢？

通过观察，发现从$out$ 到$W_1[1,2]$的来连接线有两条

结果如下：
$$\frac{dout}{d{W}_1[1,2]}=x1\ast f^{{}^{\prime }}(a2)\ast \left\{W_2[2,1]\ast f^{{}^{\prime }}(b1)\ast W_3[1,1]\ast \nabla out+W_2[2,2]\ast f^{{}^{\prime }}(b2)\ast W_3[2,1]\ast \nabla out\right\}$$

公式分为两部分：

1. 括号外：左边红线部分
2. 括号内
   1. 加号左边：右边红线部分
   2. 加号右边：蓝线部分

但是这样做，当模型很大的时候，计算量非常大

所以反向传播的思想就是对其中的某一个参数单独求梯度，之后更新，如下图所示：

计算过程如下
$$\begin{array}{rlr}& \nabla W_3[1,1]=f(b_1)\ast \nabla out& （计算W_3[1,1]梯度）\\ & \nabla W_3[2,1]=f(b_2)\ast \nabla out& （计算W_3[2,1]梯度）\\ & & \\ & \nabla b_1=f^{{}^{\prime }}(b_1)\ast W_3[1,1]\ast \nabla out& （计算W_3[2,1]梯度）\\ & \nabla b_2=f^{{}^{\prime }}(b_2)\ast W_3[2,1]\ast \nabla out& （计算W_3[2,1]梯度）\end{array}$$

更新参数之后，继续反向传播

计算过程如下：
$$\begin{array}{rl}& \nabla W_2[1,2]=f(a_1)\ast \nabla b_2\\ & \nabla a_2=f^{{}^{\prime }}(a_2)\ast (w_2[2,1]\nabla b_1+W_2[2,2]\nabla b_2)\end{array}$$

继续反向传播

计算过程如下：
$$\begin{array}{rl}& ▽W_1[1,2]=x_1\ast ▽a_2\\ & ▽x_1=(W_1[1,1]\ast ▽a_1+w_1[1,2]\ast ▽a_2)\ast x_1’\end{array}$$

通用的描述如下
$$\begin{gathered} \nabla w_{i,j}^l=f(a_i^l)\ast \nabla a_j^{i+1} \\ \nabla a_i^l=f^{\prime }(a_i^l)\ast (\sum _{j=1}^m{w}_{i,j}\ast \nabla a_j^{l+1}) \end{gathered}$$

2.3 反向传播算法-链式法则

反向传播算法-链式法则：

• $\frac{\partial l}{\partial w_{11}^{(1)}}=$
  
• $\frac{\partial l}{\partial w_{11}^{(2)}}=$
  
• $\frac{\partial l}{\partial w_{11}^{(3)}}=$