Meta-learning入门（一）

最新推荐文章于 2024-06-22 14:01:09 发布
最新推荐文章于 2024-06-22 14:01:09 发布
阅读量525 收藏 1
点赞数
分类专栏： 少样本学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengsilin666/article/details/112434189
版权
  • Omniglot数据集
    • 整个数据集包含1623个不同的手写字符，每个手写字符都由20个不同的人参与绘制
    • 在Pytorch-meta的实现当中，其训练集包含了1028个手写字符，涉及到的数据增强有3种，分别为旋转90度、旋转180度以及旋转270度，这样一来，训练样本的总个数就从1028扩充到了1028*4=4112个
  • Omniglot数据集的加载
    • 将4112张扩充后的图片视为一个整体，并进行洗牌，然后在洗牌之后的数据集进行样本的挑选
    • 采用5-way 5-shot的训练方式，在每一个epoch中，挑选5个手写字符，每个手写字符中随机选取5个样本作为support set，另取、选取15个样本作为query set
  • 训练过程
    • 在训练过程中，我们先是在support set上进行训练，并计算梯度，然后再在query set上进行测试，并计算loss。值得注意的是，在query set上进行测试的过程中，我们会根据训练过程中计算的梯度来计算模型的输出（但并不会更新模型的参数）
    • 模型参数的更新最终依赖的是query set计算得到的loss，而不是在support set上计算得到的loss
    • 由此基本上可以得到一个结论，MAML主要通过计算每个task的损失来计算loss，而不是依赖于每个训练样本来更新模型参数
Just Go For It Now
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一文通俗讲解元学习（Meta-Learning）
Paper weekly
11-18 5万+
©PaperWeekly 原创 ·作者 | 孙裕道学校 | 北京邮电大学博士生研究方向 | GAN图像生成、情绪对抗样本生成元学习（meta-learning）是过去几年最火爆的学习方法...
pytorch-meta:PyTorch中用于几次学习和元学习的扩展程序和数据加载器的集合
04-30
火炬 用于几次学习和元学习的扩展程序和数据加载器的。 Torchmeta包含流行的元学习基准，与和PyTorch的完全兼容。 特征 统一的界面，可处理少有的分类问题和回归问题，从而可以轻松地对多个问题进行基准测试，并具有可重复性。 辅助功能可解决一些常见问题，并使用文献中的默认参数。 PyTorch 一个扩展，称为MetaModule ，它简化了某些元学习模型（例如，基于梯度的元学习方法）的创建。 参见用于使用例如MetaModule 。 可用数据集 快速回归（玩具问题）： 正弦波（ ） 谐波函数（ ） 正弦曲线和线（ ） 少拍分类（图像分类）： Omniglot（ ，2015，2019 ） Mini-ImageNet（ Vinyals等，2016 ， Ravi等，2017 ） Tiered-ImageNet（ Ren等，2018 ） CIFAR-FS（ Be
MAML——模型无关元学习(reptile)(Meta Learning) & Pytorch实现
hxxjxw的博客
08-20 3445
MAML,Model-Agnostic Meta-Learning, 模型无关元学习
迁移学习和元学习
Romaga的博客
03-30 2051
元学习的重点是设计能够学习如何学习的模型或算法，使它们能够在最小的数据或训练下迅速适应新的任务。其想法是，从最初的任务中获得的知识可以被 "转移 "到新的任务上，以提高性能，即使新任务的数据集较小。我们可以将每个任务视为一个训练集和一个测试集，然后在这些任务上进行训练，以便模型可以从每个任务中学习到有用的信息，并能够在新任务上快速适应。我们想要在这些任务中尽可能提高模型的性能。迁移学习利用一个预先训练好的模型，并针对新的任务对其进行微调，而元学习的重点是学习一个可适应的模型或算法，能够快速适应新的任务。
【Deep Learning】Meta-Learning：训练训练神经网络的神经网络
最新发布
Deep_Thinking的博客
06-22 1197
本文简单介绍了两类与Learn to Learn有关的问题元学习（Meta-Learning）或少样本学习（Few-Shot Learning）少样本学习在大模型强大的Few-Shot能力下已经成为主流，在很多下游任务上大放异彩。Learn to learn nerual network by nerual network：即通过神经网络来优化训练神经网络的过程由于效率不高，再套一层娃（Learn to learn to learn） 的效果也并不好。
元学习metalearning程序------learn2learn
qlkaicx的博客
11-02 2078
利用python，pytorch，learn2learn撰写元学习程序，简单了写了一个利用MAML进行回归预测的python元学习程序。
【机器学习】Meta-Learning（元学习）
weixin_44211968的博客
11-14 1万+
文章目录前言从传统学习引出元学习对比机器学习和元学习如何实现元学习参考链接 前言 元学习Meta Learning，含义为学会学习，即learn to learn，带着对人类的“学习能力”的期望诞生的。Meta Learning希望使得模型获取一种 “学会学习” 的能力，使其可以在获取已有“知识”的基础上快速学习新的任务。 从传统学习引出元学习 传统的机器学习方法是针对一个特定的，一般是有大量数据的数据集 ，试图学习出一个预测模型 ，使得模型对于测试集上的数据的预测有最小的误差。这个思路在数据集 D
meta-learning（元学习）是什么？
简单记录生活、学习
08-25 2780
什么是元学习？
元学习（Meta-learning）简介
热门推荐
人生是要不断做减法
10-25 4万+
元学习（Meta-learning）简介。
学习笔记 | Meta Learning（元学习）
LiRongLu_的博客
03-16 1672
元学习Meta Learning，含义为学会学习，即learn to learn，就是带着这种对人类这种“学习能力”的期望诞生的。Meta Learning希望使得模型获取一种“学会学习”的能力，使其可以在获取已有“知识”的基础上快速学习新的任务。
通俗讲解元学习（Meta-Learning）
AI研究院
06-11 6290
元学习通俗的来说，就是，有时候掌握学习的方法比刻苦学习更重要！下面我们进行详细讲解。
元学习（meta-learning）的通俗解释
Flag_ing的博客
02-26 5443
还以目标检测为例，仍然拿一个很大的数据集来训练模型，而 meta-learning 的目标不是让模型在没见过的图片中学会分辨训练集中提到过的类别，而是让模型学会分辨事物的异同，学会分辨这两者是相同的东西还是不同的东西，当模型学会分辨异同之后再在具体的分类任务中使用极少的数据集训练很少的次数即可达到甚至超越传统目标检测训练范式的效果（这种方式也称为。以上是元学习在目标检测方面的一种应用，通过元学习训练模型提取不同种类图片的特征，然后在这个预训练的模型的基础上实现快速辨别新的图片种类。元学习可以用来学算法。
【MetaLearning】有关Pytorch的元学习库higher的基本用法
Shen Mu Xin's Blog
11-21 864
是higher库的上下文管理器，用于创建内部循环（inner loop）的上下文，内部循环通常用于元学习场景，其中在模型参数更新的内部循环中进行一些额外的操作。这个上下文管理器主要有五个参数：（详细请参考官方库说明第一个参数model是需要进行内部循环的模型，通常是你的元模型第二个参数opt是优化器，这是你用来更新模型参数的优化器第三个参数是一个布尔值，用于指定是否在每个内部循环之前复制初始权重，如果设置为True。
Meta Learning
weixin_40019546的博客
07-21 91
Meta Learning 这样理解：我们的目标是能够few shot learning也就是说，每一类看一两个样本就能够学会如何区分这些类，于是乎一个task就定义为：每一类看一两个样本，然后在新的样本（但是是刚才看过的类）上进行分类 ...
度量学习和pytorch-metric-learning的使用
Brikie的博客
12-04 7575
度量学习作为一个大领域，网上有不少介绍的文章，pytorch-metric-learning库的官方文档也有比较详细的说明和demo，所以本文不打算再对它们做细致严谨的入门级介绍，而是记录我在学习过程中的一些思考和观点，以及代码的便捷使用，欢迎讨论。
元学习（Meta Learning）
xinxin的博客
08-21 8101
你带小朋友去动物园，小朋友看到水里面有一只毛茸茸的小动物，他从来没有见过这种动物，所以他想知道这种动物是什么，虽然小朋友没有见过这种动物，但是他学过如何区分动物，他有自主学习的能力。现在你给他一堆卡片，每张卡片上有一个动物的图片和动物的名字，小朋友既没有见过眼前水里面的动物，也没有见过这些卡片上的动物，但是小朋友很聪明，他把卡片翻一遍，就知道自己眼前看到的动物是水塔了。而多任务学习是基于多个不同的任务同时进行损失函数优化，它的学习范围只限定在这几个不同的任务里，并不具学习的特性。
元学习概述（Meta-Learning）
一只攻城狮的博客
01-14 3万+
转载自： 凉爽的安迪-深度瞎学 一文入门元学习（Meta-Learning） 写在前面：迄今为止，本文应该是网上介绍【元学习（Meta-Learning）】最通俗易懂的文章了（ 保命），主要目的是想对自己对于元学习的内容和问题进行总结，同时为想要学习Meta-Learning的同学提供一下简单的入门。笔者挑选了经典的paper详读，看了李宏毅老师深度学习课程元学习部分，并附了MAML的代码。为了通俗易懂，我将数学推导和工程实践分开两篇文章进行介绍。如果看不懂，欢迎来捶我（ ）~~如果大家觉得有帮...
Pytorch入门实战（8）：小样本学习实现图片分类（Few-shot Learning, Meta Learning）
zhaohongfei_358的博客
08-21 9113
本文会使用Omniglot数据集训练一个孪生网络（相似网络），其可以用来判断两个图片的相似程度，通过该方式来实现小样本学习。 本文使用Omniglot的训练集来训练神经网络，使用其验证集来构造Support Set。本文会从验证集的每个类别中拿出5个样本作为Support Set，一共挑选10个类别，即为10-way 5-shot的小样本学习。
【Meta Learning学习笔记】Meta Learning详解
a312863063的博客
06-07 3万+
完整笔记：www.gwylab.com/note-meta_learning.html —————————————————————————————————— 前言 · 为何要研究Meta Learning？ 尽管我是研究生成模型的，但是最近对于meta learning产生了强烈的兴趣。理由在于，GANs本身是一个特别吃数据集的模型，从某种意义上来说，数据集的好坏对最后生成效果的影响，不...
matlab meta-learning
09-12
而meta-learning是一种机器学习的方法，旨在通过学习一系列不同任务的经验，来改善学习算法的性能。那么，MATLAB meta-learning是指在MATLAB环境下进行meta-learning的实践和应用。 在MATLAB中，可以利用丰富的机器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值