IBN-NET

Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net论文笔记

https://blog.csdn.net/sunyao_123/article/details/81294724

IBN-NET要点：

通过将IN和BN的组合提出了IBN-Net,IN主要可以学习视觉表现变化的相关性，例如颜色，风格，真假等。而BN主要学习内容相关的信息，同时可以加速训练和学习到更加有区分性的特征。
IBN-Net可以应用用目前的主流网络结构，像DenseNet, ResNet, ResNeXt,SENet 等。有助于在不增加计算量的情况下，提升模型的准确性。
IBN-Net有助于提升跨域的迁移学习。

浅层的外观不同的feature divergence较大，到深层就变小；而内容不同的feature divergence在浅层较小，在深层较大。所以浅层使用IN，深层使用BN，但是由于BN的巨大的作用，所以浅层也保留使用BN。
引入IN的一些规则：
1）处理浅层的形状不变性而不影响深层的纹理差异，所以只在CNN前一半使用；
2）为了包含浅层纹理，在使用IN的地方，一半使用IN，一半使用BN。