SNIP 算法笔记

1:MST
2:限定尺寸的梯度回传
该算法主要包含两个改进点：1、为了减少前面所提到的domain-shift，在梯度回传时只将和预训练模型所基于的训练数据尺寸相对应的ROI的梯度进行回传。2、借鉴了multi-scale training的思想，引入图像金字塔来处理数据集中不同尺寸的数据。

训练数据的分辨率（resolution）和验证数据的分辨率不一致（甚至是差别很大）的时候对效果的影响

训练数据中那些尺寸非常大或非常小的object会影响训练效果，因此这篇文章在引入MST思想的同时限定了不同尺寸的object在训练过程中的梯度回传.

从前面的分析可以看出，我们希望有一个算法能够既get到多尺度的目标信息，又能减少domain-shift带来的影响，因此就诞生了SNIP.

SNIP借鉴了Multi-Scale Training(MST)的思想，在MST方法中，由于训练数据中尺寸极大或极小的目标会影响实验结果，因此SNIP的做法就是只对尺寸在指定范围内的目标回传损失（该范围需接近预训练模型的训练数据尺寸），也就是说训练过程实际上只是针对这些目标进行的，这样就能减少domain-shift带来的影响。又因为训练过程采用了类似MST的做法，所以每个目标在训练时都会有几个不同的尺寸，那么总有一个尺寸在指定的尺寸范围内。