应用深度学习（二）

记录一下反向传播的计算与推导，了解一下loss.backward()里面做的是什么，怎么完成的。

相关定义

经过网络层的计算后：
$$z^l=W^l{a}^{l-1}+b^l$$
$\sigma$ 定义为激活函数，所以有公式：
$$a^l=\sigma (W^l{a}^{l-1}+b^l)$$

函数计算

向量表示

所以参数中，最主要的是计算${\Delta }_{\theta }C({\theta }^i)$的值。

链式法则

公式计算1

可得如下公式：
$$\frac{\partial z_i^l}{\partial w_{ij}^l}=\{\begin{array}{ll}{a}_j^{l-1}& ,l>1\\ x_j& ,l=1\end{array}$$
$a_j^{l-1}$这样的值需要在前向传播（feedward）中进行计算

公式计算2

计算最初的${\delta }^L$:
$${\delta }^L={\sigma }^{\prime }(z^L)\odot \Delta C(y)$$

得到递推关系式：
$${\delta }_i^l={\sigma }^{\prime }(z_i)\sum _k{w}_{ki}^{l+1}{\delta }_k^{i+1}$$

矩阵表现形式：
$${\delta }^l={\sigma }^{\prime }(z^l)\odot (W^{l+1}{)}^T{\delta }^{l+1}$$

结论

所以前向和反向都需要计算，那么是不是意味着会产生不少的中间变量？