Meta learning

一、Introduction

Meta learning = Learn to learn

二、Meta Learning

1、比较

与Life-long的区别：

• Life-long：所有任务使用一个模型
• Meta：每个任务可能有不同的模型

与Machine Learning的区别：

2、算法步骤

# Step 1：定义一个learning algorithm的集合；
# 初始化参数不一样，表示不一样的学习算法

# Step 2：评价一个learning algorithm的好坏；
# N个Task任务的损失函数之和

Meta learning的样例的一个个的Task。经常和few-short learning配合使用。

# Step 3：找到最好的F；

3、典型案例

4、方法

1. MAML–学习最好的初始化参数

MAML方法的限制：所有task的model structure必须一致。
MAML和Model Pre-training的区别：


Model Pre-training注重模型现在表现怎么样；而MAML注重的是模型经过训练之后表现得怎么样，注重模型的潜力。

MAML训练过程中只update一次，原因是：

• 速度快。如果update几千次，每个task上训练一个小时，那么时间太久了。
• 如果只update一次就可以得到很好的参数，，说明这种做法很强，因此将这个作为目标。
• 可以在测试的时候多update几次。
• 对于few-shot的任务，如果update很多次，容易过拟合。

2. Reptile–