【IBN-Net】

概述

本文提出了IBN-Net，这是一种新颖的卷积架构，它显着提高了CNN在一个领域（例如Cityscapes）上的建模能力以及其在另一个领域（例如GTA5）上的泛化能力，而无需微调。

IBN-Net将Instance Normalization（IN）和Batch Normalization（BN）作为构建块进行了精心整合，并可以包装到许多先进的深度网络中以提高其性能。

贡献点

本文有三个关键贡献。
第一，通过深入研究IN和BN，我们揭示了IN学习与外观变化（例如颜色、样式和虚拟/现实）不变的特征，而BN对于保留与内容相关的信息至关重要。
第二，IBN-Net可以应用于许多先进的深度体系结构，例如DenseNet、ResNet、ResNeXt和SENet，并在不增加计算成本的情况下持续提高它们的性能。
第三，在将训练好的网络应用于新领域时，例如从GTA5到Cityscapes，IBN-Net实现了与域适应方法相当的改进，即使没有使用来自目标域的数据。

优点和应用场景

文章首先介绍了现有CNN架构存在的问题：它们主要设计用于解决单个领域中的问题，并且不能推广到其他领域。

然后介绍了IBN-Net如何通过整合Instance Normalization（IN）和Batch Normalization（BN）来解决这个问题，并详细阐述了IN和BN各自学习到的特征及其组合对CNN性能和泛化能力的影响。

最后，文章介绍了IBN-Net在多个先进深度体系结构上应用时所取得的显著性能提升，并展示了其在WAD 2018 Challenge Drivable Area track上获得第一名。

基础知识点

Instance Normalization（IN）和Batch Normalization（BN）是两种常用的归一化方法，它们都可以用于卷积神经网络（CNN）中。这两种方法都是为了解决深度学习中的梯度消失问题而提出的。

Batch Normalization（BN）是一种在训练期间对每个小批量数据进行归一化的方法。它通过对每个小批量数据进行归一化来减少内部协变量偏移，从而加速了训练过程。在CNN中，BN通常应用于卷积层和全连接层。

Instance Normalization（IN）是一种在每个样本上进行归一化的方法。它通过对每个样本进行归一化来减少内部协变量偏移，从而提高了模型的泛化能力。在CNN中，IN通常应用于图像风格转换、图像生成和语义分割等任务。

例如，对于图像风格转换任务，IN可以将输入图像的每个通道的均值和方差归一化到0和1之间，从而使模型更好地学习到图像的风格特征。对于语义分割任务，IN可以将每个样本的特征图归一化到0和1之间，从而提高模型的泛化能力。