【论文阅读】A New Meta-Baseline for Few-Shot Learning

【论文阅读】A New Meta-Baseline for Few-Shot Learning

1. 参考文献格式：Chen Y , Wang X , Liu Z , et al. A New Meta-Baseline for Few-Shot Learning[J]. 2020.
2. 论文地址：https://arxiv.org/abs/2003.04390
3. 源码地址：https://github.com/yinboc/few-shot-meta-baseline

1.1 主要内容

提出了一种元基线 (Meta-Baseline)方法，通过在所有基类(base classes)上预先训练分类器，并在基于最近质心的小样本(few-shot)分类算法上进行元学习，实验结果大大优于目前最先进的方法。

在元学习阶段，一个模型在基类未见任务中的获得更强泛化能力的同时，在新类任务中的泛化表现可能反而下降。此外，对于元基线来说，存在2个重要的因素：一个是预训练，另一个是从预训练分类器中继承一个好的小样本分类度量。这就有可能让模型更好地利用，具有更强可传递性的预训练表示。

什么是元基线方法？

小样本学习的目的，是让分类模型能迁移到仅带有少量标记样本的新类别中。而元学习是目前小样本学习研究中比较常见的方法。作者元基线方法所做的，是用最简单的形式利用预训练分类器和元学习的优势。

元基线方法包括两个训练阶段。

阶段一：预训练阶段

预训练阶段，主要是**分类器基线（Classifier-Baseline）**的训练。

具体方法是，在具有标准交叉熵损失的所有基类上训练分类器，然后删除其最后一个 FC 层，得到编码器 fθ。编码器能将输入映射到特征空间。

阶段二：元学习（meta-learning）阶段

这一阶段，主要基于分类器基线评估算法，进行模型优化。

给定预训练特征编码器fθ，在基类训练数据中采样 N-way K-shot 任务。

为了计算每个任务的损失，在支持集（support-set）中计算N种类型的质心，公式如下：

然后用它们来计算查询集（query-set）中每个样本的预测概率分布，公式如下：

损失是根据 p 和查询集样本的标签计算的交叉熵损失。

1.2 实验结果

元基线方法效果如何？（大幅提升性能）

论文作者在 miniImageNet 和 tieredImageNet 两个数据集上进行了实验。

（ miniImageNet）

（tieredImageNet）

改进效果并不仅仅局限于 N-way K-shot 任务。在单类 K-shot 任务中，实验结果同样证明了元学习阶段的有效性。

作者还在大规模数据集 ImageNet-800 上进行了进一步评估。

在这一规模的数据集上，1-shot 任务中，比起分类器基线，元基线有大幅提升。但在 5-shot 任务中，性能没有明显的改善。

1.3 源码复现

https://github.com/yinboc/few-shot-meta-baseline

（下一步。。。）