1batchaize 的问题
分类大很多
vgg resnet 用256
目标检测 faster-rcnn 2张
batchsize 太小的问题:
1 unstable gradient
2.BN统计不精准的问题(Inaccurate BN statistics)
3. Extremely unbalanced data
因为随机从背景部分取得框,负样本远远多于正样本,
4. Very long training period
他们提出的 称为 MegDet 个 the First Large-batch Detector
条件:
1,他们的brain++ platform , 一个云平台共享空间,计算是分开的。
2, 他们有自己的网络架构平台(类似pytourch,说是速度上更加优化)
3,基础算法是 Featurn Pyramid
将faster rcnn本来的单层ROI, 这里进行多层金字塔ROI,这样大物体小物体都可以兼顾。
2. 多设备的BN操作
也因为目前的算法都是单卡BN统计,而单卡容量限制,无法进行batch_size较大的时候进行BN统计,他们用了多卡协同的统计方法。
3.
4
下图展示了一个神奇的现象,object detection 训练过程中出现一个很大的gap,目前没有说法。
Instance Segmentation
2.
我们生成的groundtruth 的mask的时候也是用线性插值的方法