文章目录
机器学习:批次(Batch)与动量(Momentum)
回顾:使用Batch进行最优化
在实际的最优化过程中,我们将很多的数据分成好多份,每一份算出一个
L
i
L^{i}
Li出来,然后使用它迭代计算
θ
∗
\mathbf{\theta}^{*}
θ∗。具体过程如下图所示:
update
\textbf{update}
update:是使用一个
b
a
t
c
h
batch
batch中的数据训练出的
L
L
L迭代一次。
epoch \textbf{epoch} epoch:使用每一个 b a t c h batch batch迭代过一次 θ \mathbf{\theta} θ,每一个epoch之后会重新分配batch进行训练(Shuffle)。
Small Batch v.s. Large Batch
假设总共有20个数据。(N=20)
Large Batch
每一批的数据大小为20个,也就是说不分批次训练(Full Batch)。这样的话,每次更新都是使用所有数据进行更新参数,每一次更新耗费时间较长,但是走的方向比较稳健,更容易向准确的方向走。
Small Batch
每一批数据的大小为1个,也就是说分成20个Batch。更新次数比较多,每一个epoch会更新20次。但是这样每一次更新找到的更新方向不会太准确。
但是,如果考虑并行Large Batch花费的时间不一定比Small Batch 花费的时间长。
具体训练效果对比
更新时间对比
通过对比可以发现,在batch大小在1000以内时,每一次更新时间相差无几,但是,当batch相对较大的时候,每一个epoch的更新次数就会减少,因此一个epoch所耗费的时间更少。
不同大小的batch训练出的模型的准确率对比
可以发现,小的Batch Size在训练模型上有更好的表现。而大的Batch Size表现不好是因为最优化失败。"Noisy"的更新对训练模型有帮助。
为什么小的Batch Size 会有比较好的结果?
对于Full Batch
,只有一个损失函数,很容易就会卡在critical point
上,但是Small Batch
每一次进行更新所使用的损失函数是不一样的,可能参数更新卡在了Batch1的损失函数上,但是Batch2的损失函数可能就可以继续进行更新。因此,Noisy的Gradient有帮助
Small Batch在测试集上更好
当解决了Large Batch最优化的问题,从实际案例中可以发现训练时Small Batch和Large Batch得到几乎一样的结果,但是测试阶段Small Batch表现的更好。
Small Batch更好的原因
具体的原因有待研究,但是现在有一种解释方法。
对于局部最小值也有好有坏,比如认为平原(Flat Minima)就要比峡谷(Sharp Minima)更好。如上图所示,假设测试损失函数相比于训练损失函数有一点小小的平移,那么对于平原来说影响并不是很大,但是对于峡谷来说,一个微小的移动就会使测试损失函数发生较大的变化。一般认为Small Batch更新的方向比较Noisy,不容易进入峡谷的狭口里边,而Large Batch更新方向比较稳定,很容易就会进入到峡谷里边。
将两种方法的优点相结合
经过对比可以发现,不同的Batch Size具有不同的优缺点,如下图所示:
现在有一些算法可以通过增加Batch Size来缩短训练时间,通过一些其他的方式解决Large Size出现的问题,从而提高训练模型的效率。
动量(Momentum)
有可能对抗一些Local Minima和Saddle Point,假设损失函数的曲线就是物理世界中的斜坡,而参数是一个移动的球,,把球从斜坡上滚下,如果动量够大就会有可能跳出一些Local Minima和Saddle Point。
具体实现
Gradient Descent回顾
每到一个位置,会计算这个位置的梯度 g g g,向梯度反方向前进一小段距离,然后重新计算梯度,并且以此循环,如下图所示:
Gradient Descent + Momentum
每一次的移动方向不仅仅为梯度反方向,还要加上上一步移动的方向,共同决定当前参数更新的方向。
m
i
m^{i}
mi是先前所有梯度的加权和:
g
0
,
g
1
,
…
,
g
i
−
1
g^{0},g^{1},\dots,g^{i-1}
g0,g1,…,gi−1
m
0
=
0
m
1
=
−
η
g
0
m
2
=
−
λ
η
g
0
−
η
g
1
⋮
⋮
m^{0}=0\\ m^{1}=-\eta g^{0}\\ m^{2}=-\lambda \eta g^{0}-\eta g^{1}\\ \vdots\\ \vdots
m0=0m1=−ηg0m2=−ληg0−ηg1⋮⋮
文中图片均来自李宏毅老师机器学习(2021)课程