论文阅读：Cross Attention Network for Few-shot Classification

论文：Cross Attention Network for Few-shot Classification
地址：https://arxiv.org/abs/1910.07677v1
code：https://github.com/blue-blue272/fewshot-CAN
来源：NeurIPS 2019

Abstract

小样本分类的目标是根据少数标注的样本去识别该类别，其中未知类别（训练类别和测试类别的不一致）和少样本数据是两个关键问题。针对这两个问题，我们提出了一个新的交互注意力网络。首先，我们引进了一个交互注意力模块去处理未知类别的问题。该模块对于每个输入的图像对生成一对注意力图去强调目标物体所在的区域，从而使提取的特征更具有判别性。其次，我们引进了一个新的直推式推理算法去缓解小样本问题。我们提出的直推式算法迭代地利用未标注的数据去扩充标注的数据，从而使提取的类别特征更加鲁邦。在现有的多个数据集上，我们提出的框架都优于当前最好的方法。

少样本分类任务目的在于从没有见过的类别中通过少量带有标签的数据对无标签的数据进行分类。两个主要的挑战为：一是类别没有见过，二是数据非常少。目前的存在的方法主要是分别从带标签样本和无标签样本中进行特征提取，导致特征并不具有很强的区分性。作者提出了新的Cross Attention Network。针对第一个挑战作者提出了CAM（Cross Attention Module），通过support set和query set生产交叉注意力，为了更好的将注意力集中在目标物体上。针对第二个问题，作者提出了transductive inference 算法，通过重复使用无标签的query set 来增强support set，是的类特征更加具有表现性。作者在miniimagenet和tieredImageNet数据集上进行了实验，取得了sota的效果。

Introduction

少样本分类任务具有两大挑战：一是，训练集和测试集的类别是不重合的，在一部分类别上进行训练，然后在另一部分类别中测试。二是，support set里面带标签数据是比较少的。因此需要在一部分类别里训练模型，使得模型有足够好的泛化性，在未见过的测试集中仍然可以实现较好的效果。使用预训练的模型进行微调会导致过拟合，正则化和数据增强可以缓解过拟合，但是无法完全解决。现在的主流方法是采用元学习（Meta-Learning）。在meta-learning中，可以迁移的meta-knowledge包括：优化策略（optimization strategy），初始化条件（initial condition），度量空间（metric space）。可以很好的从训练任务中归纳到新的测试任务中。在训练和测试阶段通常采用相同的设置来提高泛化性。

第一个问题：在训练阶段识别的是人和椅子，在测试阶段实际预测的是窗帘，由于窗帘在训练阶段没有出现过，因此在预测的时候通常把注意力放在了人和椅子上面，注意力很难在目标物体上。第二个问题：测试阶段带标签数据较少，难以反映真实的类别分布。
作者在论文中提出了CAN（cross attention network），其中CAM(cross attention module)针对第一个问题处理未知类别问题。CAM为了强调目标可以生成交互注意力图。如图e所示，将注意力放在了窗帘上。第二点，作者提出了直推式算法（transductive inferemce algorithm）利用未标注数据去扩充标注数据以缓解数据少的问题。

Related Work

作者分别介绍了few-shot 分类，transductive 算法和attention。

Cross Attention Module

少样本学习分类任务的关键就是如何表示support set中的每一类$S^K$和查询样例$x_b^q$，以及他们之间的相似度。

$P^k$代表一类样本的特征图，$Q^b$代表一个查询样本的特征图。

Correlation Layer：

将$P^k$和$Q^b$ reshape成KaTeX parse error: Undefined control sequence: \time at position 4: (c \̲t̲i̲m̲e̲ ̲m)，其中KaTeX parse error: Undefined control sequence: \time at position 5: m=h \̲t̲i̲m̲e̲ ̲w，m表示特征图的空间点。将 P P