纠正训练和测试分辨率差异

NIPS2019《Fixing the train-test resolution discrepancy》
https://github.com/facebookresearch/FixRes.

该论文主要是研究在图像分类任务中图像分辨率对训练和测试的影响，基于以上问题作者结论：低分辨率网络输入尺寸训练在高输入尺寸测试中是有贡献的，在这里我认为出现这种现象的主要问题是初始方法和训练方法的流程化研究问题。

对于以上的问题以往研究提出一些基于更改分辨率的决思路：
将不同分辨率（不同缩放尺寸）图像输入网络学习到尺度的不变性。
FPN通过不同层维度特征网络学习图像缩放成不同分辨率进行学习。
实验流程：
1、训练阶段采用horizontal flip、random resized crop、color jittering数据增强224*224
2、微调阶段采用数据三部分：（1）测试图片先resizing后center crop（2）测试图片先resizing后random horizontal shift of the center crop，horizontal flip and color jittoring （3）训练增强的直接使用。
3、为了提高准确率作者使用了集中分类模型先集成然后平均分类预测
作者方法：
小分辨率训练、稍大微调只训练全链接层。
通过缩小训练集输入分辨率和增大测试集分辨率联合优化实现数据尺度分布相互匹配然后采用微调（fine-tuning）实现更好的准确率。
分析region of classification中randomresizedcrop随机裁剪和centercrop中心裁剪及color jittering色彩抖动实现图像分布概率优化调整。

** 测试阶段对测试和训练不均衡问题在pooling层后使用equalization操作通过标量变量（scala transformation抵消对relu激活影响）将数据分布恢复到原来逼近数据分布上时如果网络简单出现难以pooling后区分不同数据分布。
** fine-tuning在pooling层前加BN能起到数据分布纠正功能但不一定对精度有作用。

主要观察随着测试尺寸从224到288开始acc降低发现问题

实验结论：fix比advprop、noisy student效果好。