第三节 backpropagation

第三节 backpropagation

$L(\mathbf{\theta })={\sum }_{n=1}^N{C}^n(\mathbf{\theta })$

$C^n(\mathbf{\theta })$是某一种loss值。上式中的上标n表示第n组数据，如$C^n(\mathbf{\theta })$表示：

$第n个数据\mathbf{x}输入的结果y与\hat{y}之间的距离$。

上式若对w求偏导则为：

$\frac{\partial L(\mathbf{\theta })}{\partial w}={\sum }_{n=1}^N\frac{\partial C^n(\mathbf{\theta })}{\partial w}$

此时只需考虑每个$C^n(\mathbf{\theta })$的偏导即可。

求$\frac{\partial C^n(\mathbf{\theta })}{\partial w}$可以转为求$\frac{\partial C^n(\mathbf{\theta })}{\partial z}\frac{dz}{dw}$.其中$\frac{dz}{dw}$即为前向传播。

其中的z是进入激活函数之前的，将本阶段之前的输入与权重相乘之后与偏移量相加得到的结果。并且z还需经过一系列复杂处理才能得到C。

Backpropagation-Forward Pass

为了计算$\frac{dz}{dw}$，将z展开可以知道(假设只有两个特征，更多特征可在其后累加对应特征乘权重)：

$z=w_1{x}_1+w_2{x}_2+b$

则$\frac{\partial z}{d{w}_1}=x_1$, $\frac{\partial z}{d{w}_2}=x_2$

可知对w求偏导的结果就是所偏导权重对应的输入。即w对应的input是什么，对应的偏导结果就是什么。

Backpropagation-Backward Pass

再用chain rule对z到c的过程拆解：

假设所用的激活函数为sigmoid function:

$a=\sigma (z)$

这个a就是下一个某个将要与其对应权重$w^{\prime }$相乘组合成$z^{\prime }$、$w^{\prime \prime }$相乘组合成$z^{\prime \prime }$…的输入x。

所以可以写成

$\frac{\partial C}{\partial z}=\frac{\partial C}{\partial a}\frac{\partial a}{\partial z}$

其中$\frac{\partial a}{\partial z}$就是对sigmoid函数求偏导。

而$\frac{\partial C}{\partial a}=\frac{\partial C}{\partial z^{\prime }}\frac{\partial z^{\prime }}{\partial a}+\frac{\partial C}{\partial z^{\prime \prime }}\frac{\partial z^{\prime \prime }}{\partial a}$ (chain rule)

如此可得到：

$\frac{\partial C}{\partial z}={\sigma }^{\prime }(z)\ast w_3\frac{\partial C}{\partial z^{\prime }}+w_4\frac{\partial C}{\partial z^{\prime \prime }}$

其中$w_3{w}_4$是由上面的Backward pass思路计算出来。