重点
- BN提高特征对图像内容的敏感度,降低对风格类变化的鲁棒性
- IN提高对风格类变化的鲁棒性
- 浅层特征和风格类相关,深层和高层次特征相关(人脸,姿态等内容类特征)
参考
Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net
简介
Instance Normalization在样式迁移领域取得比Batch Normailzation更好的效果,但是在识别分类领域中没有带来提升。本文研究了IN和BN的区别,并成功把二者应用到同一个框架中,提高识别分类的准确度,而且结果分类器还具备了更强的迁移能力,对色调变化,明暗变化,甚至虚拟和显示都有较高鲁棒性,state-of-art的一个框架
上图第一行,左侧是真实交通场景,右侧是游戏GTA场景,利用IN结合BN,可以让分类器在二者之间迁移
思路
首先考虑BN和IN的定义, BN是增加样本间的差异,IN是提高对亮度,色调变化的鲁棒性。