1、背景
梯度下降
对于参数θ (weight and bias)先选择一个初始的
θ
0
\theta^0
θ0,计算
θ
0
\theta^0
θ0的损失函数(Loss Function)设一个参数的偏微分计算完这个向量(vector)偏微分,然后就可以去更新θ。
而对于百万级别的参数(millions of parameters):反向传播(Backpropagation)是一个比较有效率的算法,让你计算梯度(Gradient) 的向量(Vector)时,可以有效率的计算出来
链式法则
2、反向传播
1、损失函数(Loss function)是定义在单个训练样本上的,也就是就算一个样本的误差,比如我们想要分类,就是预测的类别和实际类别的区别,是一个样本的,用L表示。
2、代价函数(Cost function)是定义在整个训练集上面的,也就是所有样本的误差的总和的平均,也就是损失函数的总和的平均,有没有这个平均其实不会影响最后的参数的求解结果。
3、总体损失函数(Total loss function)是定义在整个训练集上面的,也就是所有样本的误差的总和。也就是平时我们反向传播需要最小化的值。
对于L(θ)就是所有的损失之和,所以如果要算L(θ)的偏微分,只要算每个样本的损失函数的偏微分,再结果加起来就可以。
取出一个Neuron进行分析:把计算梯度分成两个部分
计算
∂
z
∂
w
\frac{\partial z}{\partial w}
∂w∂z(Forward pass的部分)
计算
∂
C
∂
z
\frac{\partial C}{\partial z}
∂z∂C (Backward pass的部分 )
Forward pass
根据求微分原理,forward pass的运算规律就是:
∂
z
∂
w
1
=
x
1
∂
z
∂
w
2
=
x
2
\frac{\partial z}{\partial w_1} = x_1 \frac{\partial z}{\partial w_2} = x_2
∂w1∂z=x1∂w2∂z=x2 这里计算得到的
x
1
x
1
x_1x1
x1x1和
x
2
x_2
x2恰好就是输入的
x
1
x_1
x1和
x
2
x_2
x2
Backward Pass
Backward pass的部分比较复杂,因为我们的C是最后一层: 那怎么计算
∂
C
∂
z
\frac{\partial C}{\partial z}
∂z∂C
计算所有激活函数的偏微分,激活函数有很多,这里使用Sigmoid函数为例这里使用链式法则(Chain Rule)的case1,计算过程如下:
∂
C
∂
z
=
∂
a
∂
z
∂
C
∂
a
⇒
σ
′
(
z
)
∂
C
∂
a
=
∂
z
′
∂
a
∂
C
∂
z
′
+
∂
z
′
′
∂
a
∂
C
∂
z
′
′
\frac{\partial C}{\partial z} = \frac{\partial a}{\partial z}\frac{\partial C}{\partial a} \Rightarrow {\sigma}'(z)\frac{\partial C}{\partial a} = \frac{\partial z'}{\partial a}\frac{\partial C}{\partial z'} +\frac{\partial z''}{\partial a}\frac{\partial C}{\partial z''}
∂z∂C=∂z∂a∂a∂C⇒σ′(z)∂a∂C=∂a∂z′∂z′∂C+∂a∂z′′∂z′′∂C
假设问号可以算出来,那么最终的式子结果:
这就是反向传播,通过后面的导数求前面的导数,其中σ′(z)其实是常数,因为它在向前传播的时候就已经确定了
case 1 : Output layer
假设
∂
C
∂
z
′
\frac{\partial C}{\partial z'}
∂z′∂C和
∂
C
∂
z
′
′
\frac{\partial C}{\partial z''}
∂z′′∂C是最后一层的隐藏层 也就是就是y1与y2是输出值,那么直接计算就能得出结果。
case 2 : Not Output Layer
如果不是最后一层,计算就需要继续往后一直通过链式法则算下去
我们可以做一个反向的神经网络,把损失函数与正向的输出的导数当作输入,不断计算导数的前向传播即可。实际上进行backward pass时候和向前传播的计算量差不多。