《Joint Distribution Matters: Deep Brownian Distance Covariance for Few-Shot Classification》CVPR2022

摘要

文章提出了一种名为深度布朗运动距离协方差（DeepBDC）的方法，用于解决少样本分类问题。该方法通过测量嵌入特征的联合特征函数与边际乘积之间的差异来学习图像表示。与传统方法相比，DeepBDC能够有效地捕捉图像特征之间的依赖性，并且计算效率高，能够以封闭形式高效计算。

拟解决的问题

少样本分类问题是一个挑战，因为对于每个新类别，只有很少的训练样本可用。这限制了模型学习丰富知识的能力，并可能导致过拟合。现有方法要么只使用边际分布而忽略联合分布，导致表示能力有限；要么虽然利用联合分布但计算成本高昂。

创新之处

1. 首次将布朗运动距离协方差（BDC）引入深度网络基础的少样本分类中。
2. 将DeepBDC构建为一个高效且模块化的层，适用于不同的少样本学习框架。
3. 在六个标准的少样本图像基准测试中进行了广泛的评估，包括一般物体识别、细粒度分类和跨域分类，显示出DeepBDC显著优于现有技术，并在多个任务上设立了新的最先进结果。

方法

DeepBDC的核心思想是利用布朗运动距离协方差（BDC）度量嵌入特征的联合分布与边际分布乘积之间的差异。BDC度量是解耦的，因此可以将其表述为一个高效的层，插入深度网络中，接受特征图作为输入，输出BDC矩阵作为图像表示。文章还提出了两种不同的少样本分类框架中的实例化方法：基于元学习框架的Meta DeepBDC和基于简单迁移学习框架的STL DeepBDC。

布朗运动距离协方差（BDC）

布朗运动距离协方差（BDC）是一种衡量两个随机向量X和Y之间依赖性的统计量。BDC基于随机向量的联合特征函数和边际特征函数之间的差异定义。

联合特征函数：对于随机向量X和Y，它们的联合特征函数定义为：

其中t和s是参数向量，i是虚数单位。 

边际特征函数：X和Y的边际特征函数分别是：

，

BDC 度量：BDC度量定义为联合特征函数和边际特征函数乘积之差的欧几里得距离：

 

深度布朗运动距离协方差（DeepBDC）

在深度学习框架中，作者将BDC度量转化为一个可学习的网络层，称为深度BDC层。

实现步骤：

1. 特征嵌入：首先，使用一个卷积神经网络将输入图像嵌入到一个高维特征空间中。

2. 计算BDC矩阵：

   • 对于每个输入图像，将其特征映射重构为一个矩阵X
   • 计算每对特征之间的欧氏距离，构建距离矩阵A和B。
   • 根据BDC的定义，通过以下公式计算BDC矩阵： 

其中A和B分别是从X和Y计算得到的距离矩阵，tr表示矩阵的迹。 

其中A和B分别是从X和Y计算得到的距离矩阵，tr表示矩阵的迹。

相似性度量：使用BDC矩阵之间的内积作为图像之间的相似性度量，用于分类任务。

应用到少样本分类

作者将DeepBDC应用于两种不同的少样本分类框架：

基于元学习的框架（Meta DeepBDC）：使用元学习方法，通过在多个任务上训练模型来快速适应新任务。

基于简单迁移学习的框架（STL DeepBDC）：使用预训练的模型作为特征提取器，然后在少量标记数据上进行微调。

通过这些方法，DeepBDC能够有效地捕捉图像特征之间的复杂依赖关系，从而在少样本情况下实现更好的分类性能。

结论

文章提出的DeepBDC方法在多个少样本分类基准测试中取得了优越的性能，证明了BDC在深度学习中的巨大潜力，并鼓励将其应用于未来的研究中。通过有效利用联合分布，DeepBDC能够学习到更丰富的图像表示，从而在少样本分类任务中取得更好的结果。