元学习MAML reptile（1）-李宏毅老师课程学习笔记

最新推荐文章于 2023-04-24 18:05:22 发布
最新推荐文章于 2023-04-24 18:05:22 发布
阅读量1.3k 收藏 9
点赞数 2
分类专栏： meta learning 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41694504/article/details/106391789
版权

meta learn =learn to learn

我们希望机器学习怎样去学习这件事情，就是学会语音辨识、图像辨识以后，它学会了如何去学习学习这件事情，而不是停留在语音和图像的任务上。
在这里插入图片描述
就是我们不需要自己去定义网络的结构以及训练策略，而是让机器自己能够找出这个函数，这个函数能够找出一个f，这个f能够处理我们的任务。

我们正常训练网络的步骤如下图所示，定义网络结构，初始化参数，根据梯度更新参数。

在这里插入图片描述
那么我们能不能够不用人为定义，而是网络自己去决定初始化参数、网络结构以及更新策略。MAML和reptile都是找初始化参数这样的方法。

我们在进行meta learning时，需要构建很多的任务，并且在每个任务中都有support set （train）和query set（test）。它常常与few-shot learning （小样本学习）搭配使用，因为meta learning 的训练任务很多，因此每个任务的样本很少。
在这里插入图片描述
有人在训练用影像、测试用语音&#

最低0.47元/天 解锁文章
pure water
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Reptile：简单高效的元学习算法
禅与计算机程序设计艺术
06-01 977
Reptile：简单高效的元学习算法 1. 背景介绍 1.1 元学习的定义与意义 元学习(Meta-Learning)，又称为"学会学习"(Learning to Learn)，是机器学习领域的一个重要分支。它旨
元学习（3）--李宏毅老师课程学习笔记
qq_41694504的博客
05-28 341
有没有什么模型，它可以直接输train data 和test data,输出是不是，全部封装好。 其实我们手机上的人脸识别就是这样的。 siamese network --孪生网络，两个网络的参数可以共享也可以不共享。 matching network 认为图之间是有关系的，图的顺序对调结果就不一样了，所以就提出了prototyptical network。 relation network 是再用一个网络去计算测试图和训练图得到的embedding。 对于小样本学习，我们也可以让机器去幻想，
Meta Learning 入门：MAML 和 Reptile
csyifanZhang的博客
09-08 2956
本文介绍我最近学习的两个 Meta Learning 的算法：MAML 和 Reptile。原始论文分别见：Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks 和 Reptile: a Scalable Metalearning Algorithm 。文章内容结合了李宏毅老师的课程、toy example，以及我个人的理解，可能文字有点多，但力求通俗易懂。 背景 Meta Learning 中文翻译为“元学习”，它研究的不是如何
2020李宏毅学习笔记——62.Meta Learning - MAML
weixin_44554337的博客
07-19 1286
1.概念： 什么是meta learning：学习如何去学习 例子： 机器学习了一堆任务后，再过去经验上，成为一个更好的学习者 比如做语音辨识，图像辨识后，学习文字分类更快 life-long和meta-learning的区别： life-long是一个模型一直学习 meta不是一个模型，而是学会更好的学习 2.meta-learning 在meta-learning中，把学习算法也当作一个函数F，吃进去的是训练资料，吐出来另外一个function 可以视为 区分machine learning和meta
WDK李宏毅学习笔记第十八周01_Meta learning-MAML and Gradient descent as LSTM
sunningzhzh的博客
08-15 476
Meta learning 文章目录Meta learning摘要前言1、Meta learning是什么2、Meta learning怎么做2.1 Meta Learning架构2.2 如何评价Learning Algorithm结论展望 摘要 前言 1、Meta learning是什么 Meta learning是让机器学习如何去学习，让机器可以从以往的学习中找到学习的经验，使得机器学习能力越来越强。 以下图猫狗辨识为例，Meta learning是输入资料，输出F，F可以找到一个F
Maml_Reptile_PyTorch:PyTorch中“用于快速适应深度网络的与模型无关的元学习”的代码
05-17
PyTorch中的MAML和爬行动物 PyTorch中“用于快速适应深度网络的与模型无关的元学习”的代码。 我重新调制了@AdrienLE IPython Notebook，使其从main.py运行，请查阅参考资料以更好地解释算法。 免责声明 我只是为了学习目的而使用它 参考
元学习-MAML-资源整合
12-17
MAML（Model-Agnostic Meta-Learning，模型无关元学习）是元学习的一个著名框架，由Finch et al.在2017年提出，它特别关注学习良好的初始权重，以便在面对新任务时能进行快速的微调（fine-tuning）。 MAML的目标...
MAML Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks学习笔记.docx
02-20
MAML（Model-Agnostic Meta-Learning）是一种元学习算法，它可以应用于分类、回归和强化学习等学习问题。MAML 的目标是使用梯度下降的方式来训练模型，使得模型可以在新的任务中快速学习和适应。 MAML 的关键在于...
元学习 模型 MAML pytorch 代码 复现 可直接运行
06-02
元学习 模型 MAML pytorch 代码 复现 可直接运行 元学习 模型 MAML pytorch 代码 复现 可直接运行
元学习笔记1
08-03
2.2 至2.9 部分介绍了基于优化的元学习的各种子方法，包括MAML及其变种，如隐式微分的MAML、一阶元学习算法、学会适当遗忘的元学习以及自适应超参数元学习等，这些方法在不同层面和角度提升了元学习的效率和性能。...
MAML-v1.ipynb
03-01
这个文件里时我复现的MAML，也就是模型无关的元学习方法的实验代码的复现，有需要的朋友可以下载下来参考一下。
【李宏毅2020 ML/DL】P88-96 Meta Learning – MAML | Reptile
记录学习痕迹的公众号：Piper蛋窝
08-12 793
元学习，主要是 MAML 与 Reptile ，用于初始化网络参数。
李宏毅机器学习35——meta learning
weixin_57178683的博客
08-29 575
一、什么是Meta learning 让机器学习如何去做学习 机器在经过一系列的学习任务后，可以将学到的知识用在新的学习任务中，成为一个更好的学习者。这样在遇到新的学习任务时，机器能够能快的完成。- 机器学习指的是找到满足需求的函数f，以下图为例，f的任务是对图像识别。 Meta learning指的是找到产生f的函数F，向F输入训练数据，可以产生满足需求的f。 Meta learning的步骤与machine learning类似，机器学习的步骤是： 1.定义函数集 ...
一网打尽元学习算法--MAML，Reptile，MetaSGD元学习算法的区别及联系
最新发布
qlkaicx的博客
04-24 1225
总的来说，不管什么元学习方法，元学习是一种学习如何学习的技术，元学习可以实现对各种任务的快速适应，用较少的样本学习到更好的推理和泛化能力，但实现方式和性能略有差异，应选择适合具体场景的方法。
Meta Learning：元学习模型MAML和Reptile详解
捡起一束光的博客
01-16 6001
元学习常见模型MAML要做的事情是学习一个“好”的初始化参数。以前我们是训练一个模型，然后让这个模型的参数\thetaθ最优，而现在我们训练MAML是希望初始化参数\phi最优，这样就可以实现“快速学习”（使用来自新任务的少量数据就能解决学习任务，而且只需要几步梯度下降就能得到好的泛化效果......
深入浅出元学习-拆解MAML和Reptile算法「Meta-learning」「AI核心算法」
九三智能控
11-26 2777
关注：决策智能与机器学习，深耕AI脱水干货作者：郑思座来源：知乎专栏地址：https://www.zhihu.com/column/c_1068928500529958912转载请联...
meta learning（李宏毅
linyuxi_loretta的博客
11-13 987
meta 元meta learning： learn to learn 学习如何学习大部分的时候deep learning就是在调hyperparameter、调hyperparameter真的很烦，决定什么network的架构啊、决定learning rate啊等等、实际上没有什么好方法来调这些hyperparameter、今天业界最常拿来解决调hyperparameter的方法呢就是买很多张gpu了、
zhihu reptile
qq_38250124的博客
04-26 414
# -*- coding: utf-8 -*- import json import scrapy from scrapy import Request from testzh.items import TestzhItem class ZhihuSpider(scrapy.Spider):     name = 'zhihu'     allowed_domains

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值