李宏毅机器学习back propogation反向传播

• 回顾梯度下降：
  有一堆参数 $\theta =w_1,w_2,...,b_1,b_2,...$
  首先由一个初始化值${\theta }^0$
  计算损失函数的梯度$▽L({\theta }^0)$
  迭代$\theta$
  
  参数过多，这么多梯度怎么办？BP算法提供了一种快速计算梯度的方法

• 回顾链式求导法则
  

BP

• ${\hat{y}}^n$是理想输出；$y^n$是实际输出
• $C^n$表示$y^n$和${\hat{y}}^n$之间的距离
  
• 先看第一层
  

BP-Forward pass

显然

所以，可以总结出：z对w的偏导数是前一个神经元/激活函数的输出值

这个计算过程是从前到后的，因此叫做Forward pass

BP-backward pass

为了计算$\partial C/\partial z$,将其拆成$\partial C/\partial a$和$\partial a/\partial z$
因为$a=\sigma (z)$
所以$\partial a/\partial z={\sigma }^{\prime }(z)$

• 那么$\partial C/\partial a$怎么算呢？

显然，a通过影响$z^{\prime }$和$z^{\prime \prime }$影响C

现在的问题是画问号的两项未知

• case1 假设是最后一层
  
  只需要知道输出层函数，就可以轻松算出$\partial y_1 / \partial z’；而 $\partial C/\partial y_1$由loss函数也可以轻松算出
• case2 不是最后一层
  
  同理于
  
  可以由$\partial C/\partial z_a$ 和 $\partial C/\partial z_b$算出$\partial C/\partial z^{\prime }$

所以从output layer往前算，就能算出所有$\partial C/\partial z$

Summary

信号正向传播，误差反向传播，乘起来就是所求梯度