三线性注意力采样网络——用于细粒度图像识别

CVPR2019——论文链接

摘要

  学习精细有区分度的特征（例如鸟喙和鸟的眼睛）在细粒度图像识别中起着十分重要的作用。现有的基于注意力的方法通过定位和放大重要部位来学习细粒度细节，但常常受到part数量和繁重的计算开销的限制。在这篇文章中我们提出，通过三线性注意力采样网络（TASN）给出的数百个part proposals，学习细粒度特征。特别地，TASN包括：1）一个三线性注意力模块，通过对通道间关系的建模来生成注意力图；2）一个基于注意力的采样器，突出高分辨率的注意力part；3）一个特征蒸馏器，通过权值共享和特征保存策略，将部分特征蒸馏到一个全局的特征。在iNaturalist-2017、CUB Bird和Stanford-Cars数据集中，大量实验证实TASN在相同的设置下同最具竞争力的方法相比，能够产生最佳性能。

1 介绍 Introduction

  细粒度视觉分类（FGVC）重点在于区分basic-level类别中的细微视觉差异。尽管通用图像识别的卷积神经网络（CNN）技术在实践中应用越来越多，由于具有区分性的细节（例如鸟的眼睛和鸟喙）太过细微以至于不能被传统的CNN很好地表达，FGVC仍然是一项有挑战性的任务。因此在细粒度领域中的大多数工作都集中在，学习如何更好地表示这些细微但有区别的细节上。

图1.通过TASN学习一只冠蓝鸦的区分细节的图示。如(b)所示，TASN通过将每个细节上采样到高分辨率来学习精细的细节。(c)中的白色同心圈表示细粒度细节。 

  现有的基于注意力/部分的方法[2,7,34,40]尝试通过学习部分检测器，裁切和放大相关部分，以及连接这些部分的特征来进行识别。尽管已经达到了期望的表现，在这样的一个pipeline中仍然有几个关键的问题。1）注意力的数量是有限且预定义的，约束了模型的有效性和灵活性。2）没有部分注释，很难学习多个一致的注意力图（即每个样本都注意同一部分）。尽管一个设计合理的初始化可以对模型训练有好处，然而它是缺少鲁棒性的，也不能处理那些姿势异常的样例。此外，3）为每个部分训练CNNs不是一个高效的方法。这些瓶颈严重阻碍了基于注意力的细粒度识别的研究。为了应对以上挑战，我们提出了一种三线性注意力采样网络（TASN），从数百个part proposal中学习细粒度细节，并将学习到的特征高效地蒸馏到一个卷积神经网络。TASN包括一个三线性注意力模块，一个基于注意力的采样器，和一个特征蒸馏器。首先，三线性注意力模块的输入是特征图，通过自三线性产物（？）生成注意力图，它将特征通道与双线性关系矩阵集成。因为特征图的每个通道都被转换为一个注意力图，这样就可以提取到数百个part proposal。第二，对每次迭代，基于注意力的采样器通过随机选取一个注意力图生成一个保留细节的图像，以及通过平均注意力图生成一个保留结构的图像。前者为具体的part学习细粒度特征，后者移除无区分性的区域，因此细粒度的细节可以以高分辨率更好地表达。最后，一个part-net和一个master-net各自被进一步表达成“老师”和“学生”。

  Part-net从保留细节的图像中学习细粒度特征，将学习到的特征提取（蒸馏）到master-net，主网络（master-net）以结构保留的图像作为输入。这个提取（蒸馏）过程通过权值共享和特征保留策略实现。注意到我们采用[11]中介绍的知识蒸馏来代替连接part特征，因为part的数目很大，且没有预定义。

  因为特征蒸馏器通过优化参数，将知识从part网络转换到主网络，1）随机细节优化可以达到（即每次迭代随机优化一个part），2）由于在测试阶段可以使用主网络进行识别，因此可以获得有效的推理。据我们所知，这项工作首次尝试从数百个part方案中学习细粒度特征，并用单个卷积神经网络表示此类part特征。我们的贡献总结如下：

• 我们提出了一个新的三线性注意力采样网络（TASN），用于细粒度图像识别中，从数百个part方案中学习细微特征的表示。 
• 我们提出以老师-学生的模式优化TASN，细粒度特征可以被高效地蒸馏到一个主网络。
• 我们在三个挑战数据集（iNaturalist，CUB B