台大李宏毅Machine Learning 2017Fall学习笔记 (8)Backpropagation
当网络结构很复杂时,会有大量的参数。
∇L(θ)
是百万维的向量。如何高效地计算百万维的参数,使用反向传播算法来计算。BP并非是一个和GD不同的训练方法,BP就是GD,只是是一种比较有效率的计算方法。
数学知识铺垫:微积分中的链式法则,很简单。
还是以上节中手写数字识别为例。
xn
是一张输入图片,
yn
是网络的输出
label
向量,
y^n
是该图片的真值
label
向量。
Cn
是输出值和真实值的交叉熵损失。定义
L(θ)
为损失函数。
损失函数对参数的导数为:
如下图所示: ∂C∂w=∂z∂w∂C∂z , Backpropagation 算法分为两个过程。
Forward pass
首先计算前向传播中的
∂z∂w
。以上图为例。
显然这一步比较简单,某一参数的微分值就是其对应的输入值。注意要把所有 ∂z∂w 的值计算出来。
Backward pass
然后计算反向传播中损失函数对于激活函数输入值的偏微分
∂C∂z
。
如下图中所示:
∂C∂z=∂a∂z∂C∂a
,
∂a∂z=σ′(z)
。
利用链式法则计算
∂C∂a
.
稍微整理一下,成为下图这样。
下图中很形象地展示了反向传播的概念,
σ′(z)
类似模拟电路中的放大器。
最后一步是计算
∂C∂z′
和
∂C∂z′′
。这分两种情况:1)
z′
和
z′′
的下一层是输出层;2)
z′
和
z′′
的下一层不是输出层。
Case1:
输出层
Case2:
非输出层
不断地递归计算
∂C∂z
,直至输出层,如下图。
注意:在backward pass过程中也需要对所有的
z
,计算出
Summary
一图胜千言。