反向传播

输入

• 输入一般是n维列向量 $I=\left[\begin{array}{c}{i}_1\\ i_2\\ i_3\\ ..\\ i_n\end{array}\right]$
• 目标是已给出的m维列向量，记为：$T=\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\\ ..\\ t_m\end{array}\right]$

权重

• 权重矩阵$W_{mn}=\left[\begin{array}{ccccc}{w}_{11}& w_{12}& w_{13}& ...& w_{1n}\\ w_{21}& w_{22}& w_{23}& ...& w_{2n}\\ ....& & & & \\ w_{m1}& w_{m2}& w_{m3}& ...& w_{mn}\end{array}\right]$

输出

输出是矩阵R经过激活函数处理过的数据，下面以$Sigmoid$函数作为激活函数为例说明，输出矩阵$O$如何从$R$计算的到，如下

$O=\left[\begin{array}{c}{o}_1\\ o_2\\ o_3\\ ..\\ o_m\end{array}\right]=\left[\begin{array}{ccccc}{w}_{11}& w_{12}& w_{13}& ...& w_{1n}\\ w_{21}& w_{22}& w_{23}& ...& w_{2n}\\ ....& & & & \\ w_{m1}& w_{m2}& w_{m3}& ...& w_{mn}\end{array}\right]\cdot \left[\begin{array}{c}{i}_1\\ i_2\\ i_3\\ ..\\ i_n\end{array}\right]$

误差

误差既目标$T$和输出$O$的差值，如下

$Se=T-O=\left[\begin{array}{c}{e}_1\\ e_2\\ e_3\\ ..\\ e_m\end{array}\right]$

误差传递

$O_3=\sum _{x=1}^n{w}_{3x}{i}_x$

所以可对节点$a_3$的误差$e_3$按照权重比例向第2层进行划分

$PS{e}_3=\left[\begin{array}{c}{i}_1\\ i_2\\ i_3\\ ..\\ i_n\end{array}\right]\cdot e_3$

那么可知第3层所有节点的误差$Se$，传递到第2层的结果

$PSe=\sum _{x=1}^{m}PEx$

上式可化为：

$PSe=W_{mn}\top \cdot Se$

误差衡量

使用误差衡量的目的是为使误差最小化，方便转化为数学问题，对函数求极值。举个例子使用误差的平方作为误差函数

$E=\sum _{i=1}^m(e_i{)}^2=\sum _{i=1}^m(T-O{)}^2$

则误差取得极小值的时候即为误差函数的导函数值为0时

权重如何调整

假设现有一个双层网络输入数据为$I$，输出数据为$O$，目标结果为$T$，衡量函数为$E$，权重矩阵为$W$，学习率为$Lr$。

单独调整权重$w_{11}$

调整$W$中的元素$w_{11}$，又因为受$w_{11}$ 响应的数据只有 $o_1$，原误差函数中的其余元素可以看做常数，暂不考虑，所以可得如下函数对变量$w_{11}$求偏导，

$G=(t_1-o_1{)}^2$

由于$o_1$也是自变量$w_{11}$的因变量，二者关系如下，并且加号后面表达式为常数：

$$\begin{gathered} o_1(w)=\sum _{a=1}^n{w}_{1a}{i}_a \\ {o}_1(w)=w_{11}{i}_1+\sum _{a=2}^n{w}_{1a}{i}_a \end{gathered}$$

该式又可写为：

$f(w)=w_{11}{i}_1(1)$

由于$G$中$t_1$为常数

$G_o^{\prime }=-2(t_1-o_1)$

$G_f^{\prime }=-2(t_1-o_1)o_1^{\prime }=-2(t_1-o_1)i_1$

$G_{w_{11}}^{\prime }=-2(t_1-w_{11}{i}_1+\sum _{a=2}^n{w}_{1a}{i}_a)i_1$

调整第一行矩阵$w_{11}$到$w_{1n}$

$w_{11}$调整函数已得出，接下来考虑调整$w_{12}$，同样因为受$w_{12}$影响的节点只有输出$O$中的$o_1$，不同的是
$f(w_{12})=w_{12}{i}_2$ 对应的导数是$i_2$
所以 $w_{12}$ 调整函数是

$G_{w_{12}}^{\prime }=-2(t_2-w_{12}{i}_2+\sum _{a!=2}^n{w}_{1a}{i}_a)i_2$

调整权重矩阵

所求矩阵 $Ce$第一行是

$C{e}_1=g_1\ast \left[\begin{array}{ccccc}{w}_{11}& w_{12}& ...& w_{1n}& \end{array}\right]$

所以可得 所求矩阵 Ce第二行是

$C{e}_2=g_2\ast \left[\begin{array}{ccccc}{w}_{21}& w_{22}& ...& w_{2n}& \end{array}\right]\cdot \left[\begin{array}{c}{i}_1\\ i_2\\ ...\\ i_n\end{array}\right]$

同理第m行

$C{e}_m=g_m\ast \left[\begin{array}{ccccc}{w}_{m1}& w_{m2}& ...& w_{mn}& \end{array}\right]\cdot \left[\begin{array}{c}{i}_1\\ i_2\\ ...\\ i_n\end{array}\right]$

令 $Z=\left[\begin{array}{c}{g}_1\\ g_2\\ ...\\ g_m\end{array}\right]$

可得所求矩阵 $Ce=Z\cdot I$

如果最终$W=W-Ce$