【论文笔记 FSL 3】Distribution Consistency Based Covariance Metric Networks for FSL（AAAI2019)

本文链接：https://blog.csdn.net/qq_39685733/article/details/109196605

【论文笔记 FSL 3】Distribution Consistency Based Covariance Metric Networks for Few-Shot Learning（AAAI2019）

Abstract
Contributions
Method
- 1 Local Covariance Representation
- 2 Covariance Metric
Experiments
- 1 Result
- Architectures

Abstract

小样本学习的目的是从很少的例子中学习新的概念。然而，现有的小样本学习方法大多集中在一阶统计量的概念表示或对样本与概念之间关系的固定度量上。在这项工作中，我们提出了一种新的端到端深度架构，称为协方差度量网络(CovaMNet)。基于分布一致性的协方差表示和协方差度量，设计了基于分布一致性的CovaMNet算法。具体地说，我们构造一个嵌入的局部协方差表示来提取每个概念的二阶统计信息，并描述这个概念的底层分布。进一步定义了一个新的深度协方差度量，用以度量查询样本与新概念之间分布的一致性。在一般的小样本图像分类和细粒度图像分类两个任务上进行了大量的实验，证明了所提出的CovaMNet的优越性。

Contributions

提出了一种新颖的、紧凑的端到端协方差度量网络(CovaMNet)。
设计了一种局部协方差表示，该表示方法能够在较少镜头的情况下利用协方差矩阵来表示一个概念(或类别)。
通过计算查询样本与每个类别的分布一致性，构建协方差度量作为关系测度。
在多个基准数据集上的大量实验表明，我们提出的框架在一般的少镜头分类和细粒度的少镜头分类上都显示出了优越性。

Method

文章提出了一种基于度量学习的小样本图像分类算法——协方差度量网络(CovaMNet)，基于二阶协方差分别提出了有一种局部协方表示方法和深度协方差度量方法，算法流程图如图。
在这里插入图片描述
文章使用元学习的方式训练、测试，图中每个类别1幅图像，从辅助集学习一个CNN(即嵌入模块)，提取每个类别的协方差表示，然后使用协方差度量层来度量查询图像与每个类别的分布一致性。最后利用具有交叉熵损失的softmax层得到分类结果。

1 Local Covariance Representation

在小样本情境下，每个类别的图像数量非常少导致协方差矩阵的非奇异性难以保证，并且每一类样本数太少无法准确的学习协方差矩阵来描述数据分布，作者提出一种局部协方差表示方法，嵌入特征中每个位置对应的特征向量都看作一个局部特征描述，每个特征图都有查 $M$ 个局部特征描述，计算 $K$ 个样本的局部协方差矩阵表示如下。
在这里插入图片描述
公式（2）中 $X^i$ 为嵌入特征， $\tau$ 表示局部特征描述的均值向量， $M = h \times w$ 。

2 Covariance Metric

协方差度量定义为：
在这里插入图片描述
理论支撑：

在这里插入图片描述
如果 $X$ 的方向与协方差矩阵中前 $k$ 个向量的方向一致，则 $f (x, Σ)$ 函数取得最大值，否则 $f (x, Σ)$ 取到较小值，对角化处理计算得到的相似性度量矩阵进行。

其中 $z$ 表示 $M$ 个局部特征描述之间的相似性，最后利用全连接层转化为全局的相似性度量 $Z = w^Tz$ 。