【论文笔记 FSL 1】Adaptive Subspaces for Few-Shot Learning(CVPR2020)
Abstract
特别是在样本非常少的情况下,目标识别需要避免过度拟合的能力。通常使用元学习框架从有限的样本进行归纳。设备迅速适应动态环境的学习能力,被认为是终身学习的必要方面。这篇文章中,作者通过引入基于少量样本的动态分类器,提出了一种小样本学习框架。利用子空间方法作为分类器的中心块,通过实验证明,这样建模可以增强扰动的鲁棒性,并在监督和半监督少镜头分类任务上得到较好的结果。
Contributions
- 在生成动态分类器的框架内制定了少镜头学习解决方案。
- 依赖于二阶方法能更好地概括分类任务这一个明确的概念,利用子空间对现有的动态分类器进行了扩展。
- 引入了一个判别公式,在训练中鼓励子空间之间的最大判别,进一步提高了性能。
- 提出的方法可以利用未标记数据,有助于解决半监督的少镜头学习和转导设置的问题。
Method
本文提出了一种基于度量学习的小样本图像分类算法,每个类别分别计算出特征子空间,通过未知样本特征到每个子空间的投影距离预测标签。
1 Various classifiers for few-shot classification
a) 成对分类器:直接计算查询样本的特征向量与支持样本特征向量之间的相似性判断类别,如匹配网络。
b) 原型分类器:将每类支持样本特征向量的平均值作为该类的原型,根据查询样本特征向量与原型的距离判断类别,如原型网络。
c) 非线性二元分类器:利用了决策边界的非线性,通过训练得到度量函数的参数,如关系网络。
d) 子空间分类器:每个类别分别计算出特征子空间,通过未知样本特征到每个子空间的投影距离预测标签。
2 Subspaces for few-shot classification
2.1 子空间分类器
Mj=PcPcT , µc为点与子空间之间的偏移量,子空间分类器定义为:
使用softmax函数计算各类别概率
2.2 判别深度子空间网络
投影矩阵定义为:
损失函数:最小化分类损失、最大化子空间间的距离。
算法流程: