MegDet: A Large Mini-Batch Object Detector

分类网络如ReseNet-50的mini-batch尺寸已经很大了,如8192或16000.但检测网络的mini-batch尺寸确很小,如2-16。小的batch尺寸有什么问题?一是训练时间长,二是无法为BN提供精确的统计信息。三是正负样本比例不平衡,如下图a-b所示。

但是直接增加batch尺寸有什么问题呢?大的batch尺寸需要比较大的学习率去保持精度,但大的学习率通常会导致无法收敛。为解决这个两难的问题,论文首先使用“warmup”学习率策略逐步增加学习率,其次使用跨GPU的Batch Norm(CCBN)获得更好的BN统计。

在图像分类中,基于SGD的梯度等效假设,mini-batch尺寸从N增加到k*N,学习率从r增加大k*r。但对于目标检测,每个图像中的真值标记数目不同,图像具有不同的真值分布。论文引入了方差等效假设。对于损失函数l(x,w),其梯度的方差为:

对于大的mini-batch k*N,梯度的方差为:

保持大batch=k*N中的方差与k步小batch=N累计等价:

以上仅是对学习率的阐述,论文用的是wormup策略,即在训练早期用足够小的学习率,在一定的迭代后使用固定速度增长。

跨GPU Batch Norm

 

训练时间对比

不同的batch size对比

©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值