11-机器学习进阶-元学习（上）MAML（1-4）

最新推荐文章于 2024-08-30 14:54:17 发布
最新推荐文章于 2024-08-30 14:54:17 发布
阅读量121 收藏
点赞数
分类专栏： 李宏毅课程-机器学习飞桨深度学习学院 文章标签： 元学习 模型初始化 超参数调节 任务损失 函数学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_15821487/article/details/119795254
版权

在这里插入图片描述
学习如何去学习
在这里插入图片描述
学习出来的函数可以去产生某种任务的函数
在这里插入图片描述
在这里插入图片描述
超参数的调节都交给模型了
在这里插入图片描述
所有任务的损失累加就是最终的损失
在这里插入图片描述
按任务来划分训练测试
在这里插入图片描述
说白了 metalearning 元学习，就是学习出来了一个函数比如模型的初始化参数原来是人为按某个分布给出的，现在是模型自己学出来的，在很多任务上去训练学出来的一个最好的初始化参数，不同的初始化参数，就代表了不同的函数，找最佳的那个函数，有这个初始化参数后，再去具体的任务做测试即可。

网络结构+初始化参数+数据 》梯度更新参数

元学习-MAML-资源整合
12-17
元学习（Meta-Learning）是一种机器学习方法，旨在让机器学习如何快速适应和学习新任务，而无需大量的训练数据。元学习的核心思想是通过在多种不同但相关的任务上学习通用的学习策略，使得模型能从少量样本中高效地...
MAML元学习算法(工程项目版)
m0_63642362的博客
06-21 441
论文复现赛，小样本学习，MAML元学习算法，多任务学习，omniglot数据集
元学习笔记（自用，更新）
最新发布
weixin_65350212的博客
08-30 101
元学习分为训练阶段和测试阶段。假设我们在训练阶段有10个类别的点C1-C10，每个类别有30个标注的结点。如果支持集设置5 way 5 shot，查询集设置为5 way 15 shot。那么从10个类别中随机挑选出5类，每类挑选20个结点，组成一个task。其中每类的5个结点组成support set，剩下的15个结点组成query set。MAML的输入是一个个的task，并不是一条条的数据，这与常见的机器学习和深度学习模型是不同的。这里的N是用于分类的类别数量。K为每个类别的数据量（用于训练）
超简单MAML阐述
cxkyxx的博客
08-23 909
核心思想 模型初始化参数θ\thetaθ，从给定的数据集p(T)p(T)p(T)中抽样不同的TiT_iTi​，每个TiT_iTi​包含训练集和测试集，保证训练集和测试集都是一个类别（比如训练集是猫和狗，测试集也应该是猫和狗）。 在不同的任务TiT_iTi​上，利用训练集对模型初始化参数θ\thetaθ 进行一次或多次梯度更新，获得新的模型参数θ′\theta^{'}θ′.然后利用测试集，获得在该模型参数下的损失函数的方向∇LTi(fθ′)\nabla L_{T_i}(f_{\theta^{'}})∇LTi
元学习入门：MAML
王小波的博客
07-21 1万+
Meta Learning 的算法有很多，有些高大上的算法可以针对不同的训练任务，输出不同的神经网络结构和超参数，例如 Neural Architecture Search (NAS) 和 AutoML。这些算法大多都相当复杂，我们普通人难以实现。另外一种比较容易实现的 Meta Learning 算法，就是本文要介绍的 MAML 和 Reptile，它们不改变深度神经网络的结构，只改变网络的初始化参数。 训练神经网络的第一步是初始化参数。当前大多数深度学习框架都收录了不同的参数初始化方法，例如均匀分布、
MAML算法详解（元学习）
小刘的博客
02-28 1660
本文介绍了基于元学习的算法MAML，MAML目标是训练一组初始化参数，模型通过初始化参数，仅用少量数据就能实现快速收敛的效果。为了达到这一目的，模型需要在不同任务上进行学习来不停修正初始化参数，使其能够适应不同种类的数据，最后对MAML和预训练模型进行了对比。
Python-Python元学习实战随书代码
08-11
Python元学习实战是一种高级的机器学习技术，它涉及学习如何学习，使得模型能够从不同的任务中提取通用性，从而在新任务上表现出更强的适应性和性能。这本书《Python元学习实战》提供了丰富的代码示例，帮助读者深入...
元学习综述，meta learning，A Survey of Zero-Shot Learning + poster
07-09
2. **元学习框架**：介绍元学习的不同框架，例如模型-agnostic元学习（MAML）、重参数化技巧（Reptile）、记忆增强学习（MAML）等，并分析它们的工作原理和优缺点。 3. **元学习的算法**：详细解析元学习的典型算法...
MAML-v1.ipynb
03-01
这个文件里时我复现的MAML，也就是模型无关的元学习方法的实验代码的复现，有需要的朋友可以下载下来参考一下。
元学习 模型 MAML pytorch 代码 复现 可直接运行
06-02
元学习 模型 MAML pytorch 代码 复现 可直接运行 元学习 模型 MAML pytorch 代码 复现 可直接运行
自适应模型不可知元学习
11-29
MAML算法在分类、回归和策略梯度微调的少次学习问题上表现良好，但需要代价高昂的超参数调整来保持训练的稳定性。在MAML引入一个名为阿尔法·MAML的扩展来解决这个缺点，该扩展结合了一个在线超参数自适应方案，消除了调整元学习和学习速率的需要。Alpha MAML: Adaptive Model-Agnostic Meta-Learning
矩估计与最大似然估计
芦金宇的专栏
10-20 5942
一、为什么要估计（estimate） 在概率，统计学中，我们所要观测的数据往往是很大的，(比如统计全国身高情况）我们几乎不可能去统计如此之多的值。这时候，就需要用到估计了。我们先抽取样本，然后通过统计样本的情况，去估计总体。下面是数学中常用到的术语： 　　·总体（Populantion）。通常它均值（mean）用 μ 表示。方差用表示。 　　·样本（Sample）。通常它的
贝叶斯角度对MAML的新的理解
DeepMatter的博客
06-08 3761
本文依据文章title： 本文按照文章顺序进行，只抽取笔者认为的重点部分，如有不妥，还请看客给出意见建议一起进步。感兴趣的话，建议去biying原文阅读。 2.1 MAML以及分层贝叶斯表示的回顾 - 元学习作为基于梯度的超参数优化器 参数化的元学习目的是find一些shared参数，当面临novel task时，能够轻松的find适用于该task的参数。 MAML提供了一中基...
深度学习之MAML笔记
未知的世界
08-15 2万+
接触MAML半年了，在把这个传说中的神奇框架给改得不成样子之后，又回到了原点。从完全没接触过tensorflow和未知深度学习神经网络为何物之时到倒腾实验半年的经历，让我渐渐领会到MAML的一些思想。学习之路坎坷，暂且以简单笔记记之。以下从数据集、代码、网络结构三个层次作了介绍。 MiniImageNet数据集 就从跟我实验有关的miniImagenet（下载）的5分类说起。这个数据集下...
第六章 MAML
王小波的博客
09-07 4514
MMAL算法 MAML的基本思想是寻找一个更好的初始参数，这样，在初始参数良好的情况下，模型可以以较少的梯度步骤快速学习新任务。 假设我们正在使用神经网络执行分类任务， 该如何训练网络？从初始化随机权重开始，通过最小损失来训练 怎么才能最小化损失呢？梯度下降 但如何使用梯度下降来最小化损失呢？通过多个梯度步骤使用梯度下降来寻找最优权重，使损失最小，从而达到收敛 在MAML中，就是试图学习相似任务的分布来找到这些最优权重。因此，对于一个新的任务，不需要从随机初始化的权重开始，而是可以从最优权重开始
MAML代码踩坑
北国觅梦
10-06 3310
本文是在自己电脑上学习MAML，使用CPU跑的数据 首先已经进行了数据预处理，同时已经形成了.npy文件 加载数据 import torch import numpy as np import os root_dir = 'D:\A_Datasets\omniglot\python' img_list = np.load(os.path.join(root_dir, 'omniglot.npy')) # (1623, 20, 1, 28, 28) x_train = img_list[:..
狗都能看懂的MAML原理讲解和代码实现
热门推荐
个人学习笔记
11-21 5万+
meta-leaning指的是元学习，元学习是深度学习的一个分支，一个好的元模型（meta-learner）应该具备对新的、少量的数据做出快速而准确的学习。通俗的来讲， 对于人来说，给几张橘猫的图片让看一下，再给你几张没见过的英短猫图片，你一定能很快识别出来都是猫。但是对于神经网络来说，并非如此。如果让一个小汽车分类网络去识别不同的大货车，那效果肯定很差。而传统的CNN网络都是输入大量的数据，然后进行分类的学习。但是这样做的问题就是，神经网络的通用性太差了，根本达不到“智能”的标准。而人类的认知系统，可以通
元学习笔记——MAML
liz_Lee的博客
08-23 8951
这里写自定义目录标题元学习元学习架构元学习现状MAML算法原理算法流程算法流程后续研究参考文献 元学习 元学习（meta-learning），或者学会学习（learning to learning），指通过学习一系列相似任务，归纳（抽象）出这些任务的本质规律（通用属性——权重/超参）。当面对全新的任务时，可以根据学得的规律，做微调，便可快速适应。 元学习架构 元学习meta-learning元训练...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值