Cheaper Pre-training Lunch: An Efficient Paradigm for Object Detection--Jigsaw预训练

创新

1、从检测数据集中提取出目标样本和背景样本，根据目标的长宽比以拼图的方式将其组合成一个训练样本进行模型预训练。以拼图的方式从检测数据集中生成用于主干网络预训练的数据集，
目的：不需要额外的预训练数据集，如ImageNet
2、提出ERF-adaptive密集分类方法，
目的：为了让网络更好的适应拼图数据，扩大预训练主干网络的有效感受域(ERF)。给每个特征点指定平滑标签(soft label)

方便且高效，性能比使用ImageNet预训练模型效果要好

解决问题

普通预训练带来的额外数据集需求和计算消耗
**解决办法：**通过改善权值初始化来优化直接训练检测网络的效果，
**缺陷：**这种方法通常收敛都比较慢，需要更多的训练时间，主要由于主干网络在直接训练时会面对大量的无效信息，过多的背景会带来冗余的计算消耗，造成收敛过慢且效果不好。

具体表现

生成新数据集：
warping会破坏原本的上下文信息和形状，padding会加入无意义的填充像素，带来额外的计算时间和资源消耗。
基于目标的尺寸和长宽比进行拼图

训练方法：
Global classification与Block-wise classification
改进方法：
ERF-adaptive密集分类方法