[arxiv 2020] Unsupervised Few-Shot Learning Via Self-supervised Training

论文地址：https://arxiv.org/abs/1912.12178
ICLR 2020 reject

1. 通过自监督训练进行无监督小样本学习

2. 什么是unsupervised few-shot learning?

参考 Assume, Augment and Learn: Unsupervised Few-Shot Meta-Learning via Random Labels and Data Augmentation，数据采样按类别采样，但不使用真实标签，而是随机分配的标签。本文使用的是聚类之后赋予的伪标签。它们两个之间的区别是什么？思考：元学习当中的meta-train阶段，标签对小样本任务的意义有多大？

3. 小样本学习学的是什么？

小样本学习本质上是为了提取数据的好的表示，这种表示适合通过几个样本训练进行的预测。为了解决这个挑战，这种剧集训练方式旨在创建一组剧集小样本学习情景和测试场景有相同设置，这样模型学习提取好的表示能够迁移到新任务或者相关任务。为了这个目标，数据的实际标签有帮助但是不必要，而且我们能够构建伪标签样例来训练模型。但是最重要是，如我们论文证明，伪标签样例的构建必须和剧集训练一起，这样数据的提取特征能真正地匹配小样本学习任务。值得注意的是，这个非监督、渐进式的学习方式和人类的小样本学习方式一致。