Distribution Consistency Based Covariance Metric Networks for Few-Shot Learning阅读笔记

摘要：

现有的小样本学习方法大多集中在概念表示的一阶统计量或样本与概念之间关系的固定度量上。在这项工作中，我们提出了一种新的端到端深度架构，称为协方差度量网络(CovaMNet)。CovaMNet是一种基于分布一致性的协方差表示和协方差度量的小样本分类网络。具体而言，我们构建了一个嵌入式局部协方差表示，以提取每个概念的二阶统计信息，并描述该概念的底层分布。在协方差表示的基础上，我们进一步定义了一个新的深度协方差度量来衡量查询样本和新概念之间分布的一致性。

介绍：

   关于小样本学习的问题，一个基本而直接的方法就是利用supportset。另一种方法是使用迁移学习的知识。还有使用RNN汲取过去的知识，此外还有使用度量学习来学习深度嵌入空间。我们将从这三个方面来解决之前工作中遇到的问题，即可转移知识、概念表示和关系度量。

对于第一个方面，基于元学习的方法使用元学习者，基于度量学习的方法依赖于情景训练来获取可迁移知识。我们采用了情景训练机制。

对于第二个方面，Prototypical Nets将类别的均值作为原型来表示概念，(Garcia and Bruna 2018)使用图表来表示概念。我们利用概念表示的二阶统计量，并验证它更适合表示超出一阶统计量的概念(例如，均值表示)。

第三个方面，现有的方法大多采用欧式距离(Snell, Swersky, and Zemel 2017)或余弦相似度(Vinyals et al 2016)来衡量概念与查询样本之间的关系，然后进行分类。我们定义了一种新的深度协方差度量，它自然地捕捉了查询样本和概念之间的分布一致性。

CovaMNet引入了学习可转移知识的情景训练机制，比循环网络更简单，此外，我们定义了一个局部协方差表示，并将其嵌入到网络中，以学习每个概念(或类别)。

协方差矩阵准确地包含了二阶统计信息，它可以自然地捕捉到每个概念(或类别)的底层分布信息，从而成为一个很好的概念表示。此外，我们基于局部协方差表示构造了协方差度量层，通过计算概念和查询样本分布的一致性来度量它们之间的关系。

相关工作：

       元学习、度量学习等

协方差池化：

与卷积神经网络(cnn)中常用的一阶池(例如，max-pooling)不同，全局协方差池试图探索cnn中的二阶池(协方差池)。借助矩阵平方根归一化，协方差池取得了令人印象深刻的性能(Lin和Maji 2017)。例如，(Li等人2017)提出了一种矩阵幂归一化协方差(MPN-COV)方法，通过在最后一个卷积特征上产生协方差矩阵来作为全局图像表示。

方法：

给定三个集合:支持集S、查询集Q和辅助集a，集合S包含C个不同的类别，每个类别有K个标记样本。训练时与测试匹配。

模型：

CovaMNet，其两个关键组件是局部协方差表示和协方差度量。它们嵌入在两个模块中:卷积嵌入模块和协方差度量模块。第一个模块采用替代CNN学习丰富的图像表示，这是局部协方差表示的基础。在少镜头设置下，局部协方差表示可以利用协方差矩阵表示一个概念(或类别)，这是由于协方差矩阵的二阶统计特性。第二个模块由协方差度量层构建，在第一个模块的帮助下，通过计算每个类别的分布一致性来衡量查询样本与每个类别之间的关系。

局部协方差表示：

协方差矩阵已被广泛用作区域描述符，由于其良好的性质，如二阶统计量，对称正定性等。

        但是在小样本中，每个类别的图像数量非常少(例如K = 1 ~ 5)，这使得难以保证协方差矩阵的非奇异性。我们结合每个类别的所有局部深度描述符来计算该类别的局部协方差表示。

协方差度量：