一、背景
1.1 梯度下降
- 先给
(weight and bias)
- 先选择一个初始的
,计算
的损失函数(Loss Function)设一个参数的偏微分
- 计算完这个向量(vector)偏微分,然后就可以去更新
- 百万级别的参数(millions of parameters)
- 反向传播(Backpropagation)是一个比较有效率的算法,可以是我们在计算梯度向量的时候更有效率。
1.2 链式法则
- 连锁影响(可以看出x影响y,y会影响z)
- BP主要用到了chain rule
二、反向传播
- 损失函数(Loss Function)是定义在单个训练样本上的,也就是就算一个样本的误差,比如我们想要分类,就是预测的类别和实际类别的区别,是一个样本的,用L表示。
- 代价函数(Cost Function)是定义在整个训练集上面的,也就是所有样本的误差的总和的平均,也就是损失函数的总和的平均,有没有这个平均其实并不会影响后面的参数的求解结果。
- 总体损失函数(Total loss function)是定义在整个训练集上面的,也就是所有样本的误差的总和。也就是平时我们反向传播需要最小化的值。
- 对于L(
)就是所有
的损失之和,所以如果要算每个L(
)的偏微分,我们只要算每个
的偏微分,再把所有
偏微分的结果加起来就是L(
)的偏微分,所以等下我们值计算每个
的偏微分。首先在整个神经网络中抽取出一小部分的神经(Neuron)去看(红色标注的地方):
2.1 取出一个Neuron进行分析
- 计算梯度分成两个部分
- 计算
(Forward pass部分)
- 计算
(Backward pass部分)
- 计算
2.1.1 Forward Pass
- 首先计算
(Forward pass的部分)
- 更具求微分的原理,forward pass的运算规律就是:
,
这里计算得到的
和
恰好就是输入的
和
直接使用数字,更直观地看到运算规律:
2.1.2 Backward Pass
- 这一部分很困难复杂因为我们的l是最后一层:那么计算
就很困难
- 计算所有激活函数的偏微分,激活函数有很多,这里使用Sigmoid函数为例,这里使用链式法则,计算过程如下:
- 最终的式子结果:
- 但是我们可以想象另一个角度来看这个事情,现在有另外一个神经元,把forward的过程逆向过来,其中
是常数,因为它在向前传播的时候就已经确定了
- case 1:Output layer
- 假设
和
是最后一层的隐藏层,也就是y1于y2是输出值,那么直接计算就能得出结果。如果不是最后一层,计算
和
的话就需要继续往后走一直通过链式法则算下去
- case 2:Not Output Layer
- 对于这个问题我们继续计算后面绿色的
和
,然后通过继续乘
和
得到
,但是要是
和
都不知道,那么我们就继续往后面计算,一直碰到输出值,得到输出值后再反向往输入的那个方向走。
- 对于下图1我们可以,从最后一个
和
看,因为
和
比较容易通过output求出来,然后继续往前求
和
,再继续求
和
最后我们就得到下图2的结果
- 实际上进行backward pass时候和向前传播的计算量差不多
三、总结
- 我们目标是求计算
(Forward pass的部分)和计算
(Backward pass的部分),然后把
和
相乘,我们就可以得到
,所以我们就可以得到神经网络中所有的参数,然后用梯度下降就可以不断更新,得到损失最小的函数。