《Enhancing Learning and Generalization Capacities via IBN-Net》论文阅读

目录

 

主旨

论文内容

论文总结

---

主旨

论文目的在于找到一种网络结构能够在在单一领域提高性能的同时，对于领域适应甚至领域泛化都有很好的性能，替代finetuning的效果。因此，作者组合了IN和BN，保持特征区分度的同时能够满足外观不变性的特点，设计了IBN模块。

论文内容

1 首先，为什么用IN？
因为，作者发现在风格迁移的领域中，IN的效果比BN的效果好。基于IN的encoder-decoder框架能够去除复杂外观的变化，还原原始图像，从而从侧面证明IN对外观变化的适应性。（见下图）

2 为什么保留BN？

在一些high-level的任务上，比如图像识别上，BN能都保持区分性的信息，BN还能保证大的学习率和快速收敛。

3 如何结合两种Norm

作者通过对每一层的不同类别的图像的kl散度计算，发现在低层次上，外观变化较突出。而在高层次上，类别信息较为突出。

因此，IN运用在低层，BN运用在高层。但是作者考虑到区别性信息的重要性，BN在低层和高层同时存在。

4 网络结构及其变种

结合IN和BN的残差块结构如上图所示，论文也给出了其他的变形。

论文总结

1 结合INBN的结构，能够引入外观变化不变形，适用复杂的外观变化样本变化。

2 IN，BN的特殊组合结构。

3 分析外观变化的计算KL散度方式值得参考。