随机part交换：细粒度识别的增强模型泛化和可解释性

摘要

  学习用于细粒度识别的中级表征很容易被数量有限的区分度模式所控制，从而降低其鲁棒性和泛化能力。为此，我们提出了一种新的随机部分交换（SPS）方案来解决这个问题，对样本之间的部分特征进行元素交换，以在训练期间注入噪声。它具有类似于Dropout（什么是Dropout）的正则化效果，这促进了更多的神经元来表示概念。此外，它还显示出其他优点：1）抑制对某些部件模式的过度激活，以提高特征的代表性；2）丰富模式组合并模拟噪声情况，以增强分类器的泛化能力。我们通过四个网络主干和三个细粒度数据集的综合实验验证了我们方法的有效性。此外，我们还展示了其补充高级表征的能力，允许一个简单的模型实现与细粒度识别、室内场景识别和材料识别等顶级技术相当的性能，同时提高模型的可解释性

1 Introduction

  细粒度识别比普通对象识别更具有挑战性，因为具有区分度的类别差异通常在细微的部分中。传统的对象分类方法在细粒度分类中不适用，因为它们主要关注学习高级特征，忽视了细微的变化。现有的工作尝试通过探索多种方法来补充这样的能力。基于部分的和基于采样的是最受欢迎的解决方法。从前主要的通过强监督检测定位部分区域或弱监督学习框架，提取据有区分度的局部特征作为高级特征的补充。基于采样的方法寻求通过输入图像的注意力采样来丰富表征学习。尽管这两种方法在改善分类表现上都获得了成功，它们需要复杂的训练过程或者大量的运算，这限制了它们的实际应用能力。

  由于其独特的优点，将深层中层模型合并到细粒度识别中已在最近的工作中证明了其潜力[35,22,52,23]。首先，由于深层神经网络的层次结构，中层模型易于获取，且开发灵活。其次，它们还表现出捕获局部信息的强大能力，并作为细粒度识别中高级表征方法的重要补充。[22,52]的工作表明，耦合中级和高级分类模型确实可以提高性能。

  尽管取得了令人鼓舞的结果，但以前的方法只是以即插即用的方式采用现成的中层模型，而不是增强中层模型本身。在本文中，我们沿着这条路线向前迈出了一步，并努力学习更好的中间层表示，以便进行细粒度识别。我们观察到中层模型主要基于少量图像区域确定标签。如图1左栏所示，对于CUB-200-2011训练数据集上的基线模型，平均而言，<