meta learning
pure water
这个作者很懒,什么都没留下…
展开
-
关于MAML的那些事
多余的元学习废话也不多说,直接上干货:算法:关于学习率:两个学习率a、b,要知道,为了一步优化探测task最优参数的位置(inner loop),我们必须使用稍微大点的学习率a,这叫一步到位。而优化你真正模型参数的学习率应该是很小的(outer loop),因为他必须在参数空间中经过漫长的迭代,慢慢找到最合适的位置。关于损失函数:分类交叉熵,回归MSE关于1阶和2阶的MAML:首先,Nway K shot ,support set 和query set的知识就不介绍了。看这个图,训练的过原创 2020-06-20 10:10:29 · 2387 阅读 · 0 评论 -
Reptile原理以及代码详解
论文:2018-On First-Order Meta-Learning Algorithms算法简介MAML,FOMAML,reptile这些都是关于fewshot任务中参数初始化的问题,这些算法都是寻找一个模型合理的初始化参数,使模型能够较快的适应小样本数据,在新任务上也能有较好的表现。MAML在论文中是二阶的,但是作者通过简化,推出了first-order MAML,(FOMAML),这个算法是一阶的,更方便实施。reptile也是一个一阶的基于梯度的元学习算法。伪代码步骤:1.初始化原创 2020-06-20 09:24:07 · 9396 阅读 · 11 评论 -
元学习(3)--李宏毅老师课程学习笔记
有没有什么模型,它可以直接输train data 和test data,输出是不是,全部封装好。其实我们手机上的人脸识别就是这样的。siamese network --孪生网络,两个网络的参数可以共享也可以不共享。matching network 认为图之间是有关系的,图的顺序对调结果就不一样了,所以就提出了prototyptical network。relation network 是再用一个网络去计算测试图和训练图得到的embedding。对于小样本学习,我们也可以让机器去幻想,原创 2020-05-28 10:54:06 · 339 阅读 · 0 评论 -
元学习gradient descent as LSTM(2)--李宏毅老师课程学习笔记
我们发现meta learning中的结构与RNN比较相似,具体看下面两篇论文是讲这个的。RNN是用同一个单元去处理很长的句子,因为每次只吃一个单词。现在基本用LSTM,通过结构发现Ct的特殊,同时由于它改变较慢,因此LSTM能够储存较长之间之前的词。复习一下LSTM:这个图和上面的图进行对比,是LSTM的简化版。如果把sita t-1 的loss用来更新zi,那么可以多样地调整学习率。实际的时候,一个LSTM用在所有的参数中。以前的方法都会用以前的梯度,那我们是不是也能这样。原创 2020-05-28 10:15:48 · 390 阅读 · 0 评论 -
元学习MAML reptile(1)-李宏毅老师课程学习笔记
meta learn =learn to learn我们希望机器学习怎样去学习这件事情,就是学会语音辨识、图像辨识以后,它学会了如何去学习学习这件事情,而不是停留在语音和图像的任务上。原创 2020-05-28 09:24:42 · 1332 阅读 · 0 评论