大迁移BiT

论文：Big Transfer (BiT):General Visual Representation Learning

Github：https://tfhub.dev/google/collections/bit/1

 

 

论文以ResNet-50作为基础主干网络结构，分别以3个不同的数据集进行训练得到3种family的模型结构。

BiT-S：在 ImageNet-1k (ILSRCV-2012-CLS)训练完成

BiT-M：在ImageNet-21k (Full ImageNet, Fall 2011 release)训练完成

BiT-L：在JFT-300M训练完成

在每一个family里面分别包含ResNet-50x1, ResNet-50x3, ResNet-101x1, ResNet-101x3, ResNet-152x4 共4种网络结构。

主要改进：

1. scale，不同scale容量的模型，使用不同大小的数据集进行训练。大模型使用大的数据集，小模型使用小的数据集。充分考虑了training time, architecture size, dataset size 三者之间的关系。
2. 使用Group Normalization (GN) + Weight Standardization (WS) 替换Batch Normalization (BN) 。主要因为BN受batchsize大小的影响较大，BN中权重的跟新对于迁移学习不友好。实验证明，GN+WS的设计对于迁移学习有很大的影响。
3. 采用BiT-HyperRule 的训练策略。具体包括设置，training schedule length, resolution,  whether to use MixUp regularization 等3个方面。

并且实验证明，测试阶段，略微提高测试分辨率是有精度提升的。

Therefore, it is common to scale up the resolution by a small factor at test time

MixUp 对于训练BiT效果不大，但是对于其他模型的迁移学习是会有效果的。

We found that MixUp [67] is not useful for pre-training BiT, likely due to the abundance of data. However, it is sometimes useful for transfer. Interestingly, it is most useful for mid-sized datasets, and not for few-shot transfer

实验结果：

分类任务：

BiT-L在各项任务上都取得了最好的结果。

 

检测任务：