Generalized Adaptation for Few-Shot Learning

论文题目：Generalized Adaptation for Few-Shot Learning

（一）本文主要提出的方法：

（二）相关工作

（1）基于特征的方法（Feature based approach）

MatchingNet and ProtoNet 基于欧几里得度量
基于余弦相似度度量
Relation net ：使用一个深层网络计算原型距离。下篇看一下Learningto compare: Relation network for few-shot learning. In: Proceedings of the IEEE
但仍无法使训练类提取出的特征嵌入方法很好的对新类进行适应，因此本文提出了改进：losed-form base learner method

（2）基于初始化的方法（Initialization based approach）

该方法主要分为两步：预训练和适应。
LSTM:
MAML： Model-agnostic meta-learning for fast adaptation of deep networks.
Reptile:On first-order meta-learning algorithms对MAML的扩充。
Meta-sgd: Learning to learn quickly for few-shot
learning.
本文提出的方法： Amphibian to learn a good weight initialization。

（三）方法

3.1：问题的公式化定义
3.2：提出使用closed-form base learner来使特征提取器适应到新类。
3.3：通过Amphibian学习到好的模型初始化参数。可以快速适应到所有task。
3.4：证明Amphibian。

3.1

3.2 Closed-Form Base Learner（需要看那篇论文才能看懂）

本节提出的理论：
自适应模型的泛化能力与自适应模型与预训练基模型之间的欧氏距离成负相关。

G是模型的泛化能力。分别是自适应模型与预训练模型。
因此参数应该满足以下条件：

CFLB(·) is the closed-form base learner.
其中基础分类者模型基于余弦分类器，其中封闭形式的解很容易找到。 Cosine Classifier (CC) （Dynamic few-shot visual learning without forgetting.）
CC:更好的保存了在嵌入空间中类邻居的构造。
形式为：

3.3 Amphibian

Dynamic few-shot visual learning without forgetting.
Meta-learning with differentiable convex optimization.
Dropout: a simple way to prevent neural networks from overfitting.