元学习是一种让机器通过一系列任务学习如何更好地学习的方法。它包括三个步骤：确定学习组件，计算任务损失并进行优化。MAML和Reptile是学习初始化参数的模型，而元学习的目标是找到能快速适应新任务的学习算法。元学习应用于少样本图像分类和Omniglot任务中，通过跨任务学习提高泛化能力。
目录
一、Intorduction of Meta Learning
二、What is learnable in a learning algorithm
Model-Agnostic Meta-Learning(MAML)
Pre-training(Self-supervised Learning/more typical ways)
5.Network Architecture Search(NAS)
1.Few-shot Image Classification
一、Intorduction of Meta Learning
1.What is Meta Learning?
meta learning = learn to learn
元学习其实就是阐释训练模型的一种算法。
元学习是通过一系列task的训练，让机器成为一个更好的学习者，当机器遇到新的学习任务时，就能更快的完成。类比到现实生活中，元学习不是指某一类的知识内容，更像是学习一种学习方法。
Meta learning指的是找到产生f的函数F，向F输入训练数据，可以产生满足需求的f。
2.Meta learning
step1
寻找方法：要学的参数是Φ。之前这些component都是人定的，元学习里是求这些component。
step2
计算Loss:以往的机器学习是通过计算训练资料得出Loss，而元学习是通过训练任务里的测试资料计算。
step3
最优化使Loss最小。
3.framework
注意这里是测试任务里的训练资料也作为输入，通过F方法，学习出classify，然后把这个classify用到测试任务里的测试资料上，得到结果。
训练任务是为了找出最优算法，测试任务是为了最终结果。
4.ML V.S. Meta
目标Goal
机器学习是找到f方法。
元学习的目的是找到可以“寻到f方法”的F方法。
训练资料Training Data
support set是训练资料，query set是测试资料。
机器学习是任务内训练，元学习是跨任务学习。
Loss
within-task training又叫inner loop。
acros-task training又叫outer loop。
二、What is learnable in a learning algorithm
1.Review:Gradient Descent
2.Learning to initialize
我们能不能透过一些训练的任务来找出一个对训练特别有帮助的初始化参数？
下面介绍两个方法
Model-Agnostic Meta-Learning(MAML)
Reptile
3.How to train your MAML
MAML和Pre-train最明显的不同是MAML用到了标注资料，而Pre-train没有。
MAML
Pre-training(Self-supervised Learning/more typical ways)
4.Optimizer
我们还可以学习optimizer。
5.Network Architecture Search(NAS)
我们还可以训练network 架构，那这系列的研究就叫做NAS。
6.Data Augmentation
除了network architecture还有什么可以learn的呢？Data processing 也有可能可以learn。我们在训练network 的时候也要做Data Augmentation。下面给出一些文章能让machine自动找data augmentation。
7.Sample Reweighting
我们知道在training的时候，有时候要给不同的sample不同的weight。
8.Beyond Gradient Descent
我们之前看到的方法都是基于梯度下降法再去做的。我们有没有可能直接舍弃Gradient Descent。
三、Applications
1.Few-shot Image Classification
这是最常用来测试mate learning 的任务。
N种方式K-shot分类：在每个任务中，有N个类，每个类都有K个示例。
在元学习中，您需要准备许多N-way K-shot任务作为训练和测试任务。
2.Omniglot
可以制造N-way K-shot classification。
将角色拆分为训练和测试角色
样本 N 训练字符，每个采样字符的样本 K 示例→一个训练任务
示例 N 个测试字符，每个采样字符的样本 K 示例→一个测试任务
扫一扫
1584
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
