IBN-Net 笔记

论文：Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net 

Github：https://github.com/XingangPan/IBN-Net

 

ECCV2018，港中文商汤联合实验室的作品。作者使用该IBN-Net网络以mIoU 86.18% 的成绩，赢得了WAD 2018 Challenge Drivable Area track 第一名的成绩。

论文贡献：

1. 通过将IN和BN的组合提出了IBN-Net,IN主要可以学习视觉表现变化的相关性，例如颜色，风格，真假等。而BN主要学习内容相关的信息，同时可以加速训练和学习到更加有区分性的特征。
2. IBN-Net可以应用用目前的主流网络结构，像DenseNet, ResNet, ResNeXt,SENet 等。有助于在不增加计算量的情况下，提升模型的准确性。
3. IBN-Net有助于提升跨域的迁移学习。

如上图所示，横坐标表示网络的深度，纵坐标表示特征的差异性。蓝色的表示风格的差异，橙色的表示内容的差异。可以得出，网络的浅层部分主要学习风格，网络的顶层部分主要学习内容。基于此，本文提出了IBN-Net，在浅层使用IB+BN的组合，在顶层使用BN，这样可以学习到更好的特征，并且具有更好的泛化性能。

 

IBN模块结构：

IBN模块其他尝试结构：

实验结果：

总结：

1. IBN-Net可以应用于风格迁移，GAN等领域，同时在分类，分割等领域也有助于提升准确性。
2. 不管是IN还是BN，本质上都是一种特征归一化的方式，二者唯一的区别在于对特征均值和方差不同的统计方式，因此normalization的核心就是这里的均值和方差。BN的均值和方差反映了不同数据集或者不同domain的独特信息，而本文综合考虑了IN和BN，在normalization层面上提升网络的泛化能力又迈出了坚实一步。
3.  

   

   Domain Generalization还有很长的路要走，当前的CNN模型在cross domain上的表现依然差强人意。尽管本文从normalization的角度部分解决了该问题，但从上表反映的结果来看，即使采用了本文的IBN-block，cross domain的结果依然远远落后于在同一个domain上训练和测试的结果，相比于IBN带来的微弱提升，这种差距是显著的。