论文阅读问题总结(二)：Meta-Learning With Latent Embedding Optimization

最新推荐文章于 2024-06-22 14:01:09 发布
最新推荐文章于 2024-06-22 14:01:09 发布
阅读量673 收藏 4
点赞数
文章标签： 机器学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32599109/article/details/114977187
版权
本文探讨了元学习中的一个问题，即如何在小样本情况下避免高维参数的过拟合。作者提出了一种利用关系网络生成上下文相关的低维嵌入，并在低维空间进行适应，然后解码为高维模型参数的方法。模型结合了优化和模型基元学习的特性，以解决特定任务的初始化参数相关性。训练过程中涉及内外循环，优化目标旨在减少潜在空间的梯度相关性，简化内循环训练复杂度。
摘要由CSDN通过智能技术生成

1.本文提出得主要想解决的问题是什么？

作者在本文中提到了基于梯度的元学习技术(尤其是学习到公共初始化参数随后通过调整初始化参数来适应特定任务的元学习方法：MAML, Reptile)使用特定任务的小样本数据集来通过梯度下降调整高维参数使得泛化困难(我的理解是小样本调整高维参数的适应过程容易过拟合)。

2.本文作者试图如何解决上述问题？

1.设计模型使每个待解决的特定任务的初始化参数与此任务的训练集相关，使用Relation Network将每个任务的初始化参数引入数据集之间的相关性。
2.学习一个高维模型参数的一个低维隐式embedding，在低维空间进行小样本适应(adaption)过程。
如图所示： D i t r D_i^{tr} Ditr​代表不同task的训练集。由于 D i t r D_i^{tr} Ditr​为小样本数据集，直接在高维参数空间进行adaption过程会很困难，作者提出了一个模型，在低维空间进行adaption再解构出模型高维空间的参数。
在这里插入图片描述

3.模型/算法及训练过程。

模型架构：在这里插入图片描述
根据上图可以模型主要由编码器、解码器、和解决具体任务的高维参数模型 f θ f_\theta fθ​组成。Optimation-based Meta-Learning的两个主流方法MAML、Reptile都是基于 f θ f_\theta fθ​学习可以快速泛化到各个满足同一task distribution 的各个task的初始化参数模型。
其中Encoder是常规的输出特征向量的特征提取层，Relation Net的主要作用是使得最终得到的latent code z z z “上下文相关”，即生成 z z z 时考虑任务Support Set中任意两个样本(同类或不同类)之间的相关性。Decoder的作用是由z解码出模型的高维参数 θ \theta θ 。
结合给出的算法我们来研究一下模型的训练过程：
1.首先初始化三个模块的参数，sample出一个task或者a batch of task；
2. T i T_i Ti​中的训练集全部输入到 g ϕ e g_{\phi_e} g

最低0.47元/天 解锁文章
炼丹师祖
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Meta-learning with latent embedding optimization【论文笔记】
Xie_learning的博客
07-17 1585
Gradient-based meta-learning techniques are both widely applicable and proficient at solving challenging few-shot learning and fast adaptation problems. However, they have practical difficulties when operating on high-dimensional parameter spaces in extrem
meta learning
weixin_41391619的博客
04-07 460
差不多要一个月没有看李老师的视频了，昨天终于又点开了收藏夹里的视频，OK，开始吧~ 一.概述 1.什么是meta learning 像上图蓝色笔圈起来说的，当准备用一个神经网络解决一个任务时，神经网络的架构（比如是CNN还是RNN,是VGG还是resnet）、初始值的设定、参数更新方式（比如是SGD还是Adam）都是我们自己决定的，meta learning的目的就是学习一个F，这个F能针对不同...
Meta-Learning with Latent Embedding Optimization
一刀不二
05-27 1808
LEO 思想 MAML 虽然可以通过少量梯度下降就能找到适应新任务的最优参数，然而对extreme low-data regimes在高维参数空间上操作时，还是过于不便。而LEO 则通过学习关于模型参数的a data-dependent latent generative representation，并在这种低维的latent space 中执行基于梯度下降，可以一定程度上绕过这些痛点。LEO 算法能够捕获数据中的不确定性，将基于梯度的自适应优化过程，从模型参数的高维空间中分离出来，并通过实验...
【Deep Learning】Meta-Learning：训练训练神经网络的神经网络
最新发布
Deep_Thinking的博客
06-22 1310
本文简单介绍了两类与Learn to Learn有关的问题元学习（Meta-Learning）或少样本学习（Few-Shot Learning）少样本学习在大模型强大的Few-Shot能力下已经成为主流，在很多下游任务上大放异彩。Learn to learn nerual network by nerual network：即通过神经网络来优化训练神经网络的过程由于效率不高，再套一层娃（Learn to learn to learn） 的效果也并不好。
Meta-Learning with Latent Embedding Optimization (LEO)论文阅读
Liekkas_Javey的博客
06-25 2955
1. 论文阅读 Meta-Learning with Latent Embedding Optimization该文是DeepMind提出的一种meta-learning算法，该算法是基于Chelsea Finn的MAML方法建立的，主要思想是：直接在低维的表示zzz上执行MAML而不是在网络高维参数θ\thetaθ上执行MAML。 2. 模型及算法 如图所示，假设执行N-way K-shot的...
论文阅读笔记《Meta-learning with Latent Embedding Optimization》
深视
07-28 4105
核心思想   本文提出一种基于参数优化的小样本学习算法（LEO），与MAML，Meta-SGD算法相比，本文最重要的改进就是引入了一个低维的隐空间（Latent Space）。为了方便理解本文，我们首先回顾一下MAML算法，其目标是通过元训练得到一个好的初始化模型θ\thetaθ，使得模型能够通过少量样本的微调训练就能快速的适应任务需求，得到任务Ti\mathcal{T}_iTi​对应的模型参数θi′\theta_i'θi′​。为了实现这一目标，MAML算法通过两个层次的训练，内层循环（inner loop
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
Generalizing from a Few Examples: A Survey on Few-Shot Learning
weixin_38654615的博客
01-08 1823
Generalizing from a Few Examples: A Survey on Few-Shot Learning 论文地址：paper 这篇概述很简洁：简介的论文解读 一、 摘要 机器学习在有大量数据支撑的时候的效果很好，但是数据量很少的时候效果很差了。Few shot learning 是针对于这个问题场景下提出的解决办法，他可以迅速自适应到一个新的任务中去。FSL的核心问题是unreliable empirical risk minimizer，基于如何利用先验知识来解决问题，我们可以把
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 5952
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
MetaLearning
03-29
人工智能前沿研究，元学习研究资料—Meta-Learning: A Survey，Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networ，Online Meta-Learnin，Task Agnostic Meta-Learning for Few-Shot Learning
Meta Learning
银晗的学习博客
05-28 1314
Meta Learning（元学习）是一种机器学习技术，它的。Meta Learning的目标是。Meta Learning的核心思想是。Meta Learning的过程通常包括两个阶段：元学习和元测试。在元学习阶段，模型使用以前的学习经验进行训练，学习通用的学习策略和模式。在元测试阶段，模型使用已经学习到的策略和模式来快速适应和学习新的任务。
Meta learning
Tra_cy的博客
09-15 229
一、Introduction Meta learning = Learn to learn 二、Meta Learning 1、比较 与Life-long的区别： Life-long：所有任务使用一个模型 Meta：每个任务可能有不同的模型 与Machine Learning的区别： 2、算法步骤 # Step 1：定义一个learning algorithm的集合； # 初始化参数不一样，表示不一样的学习算法 # Step 2：评价一个learning algorithm的好坏； # N个Ta
Deep Meta Learning
啊哈的专栏
09-03 1197
  智能单元第100篇 最前沿：解读ICLR 2018 Best Paper：基于Meta Learning在动态竞争环境中实现策略自适应 https://zhuanlan.zhihu.com/p/35695477     Deep Meta Learning for Real-Time Visual Tracking based on Target-Specific Feature S...
Meta-learning（元学习）
hxxjxw的博客
08-20 1041
meta-learning是learning to learn meta learning是和machine learning并列的 相较于之前的机器学习算法，meta learning 是让机器学会学习。传统的机器算法只是希望机器学习到一个函数f，通过这个函数f，来判断这个图片属于究竟属于哪个类别，一条微博的评论是正面还是负面。但是meta learning 是希望机器在学习了一些图片分类任务之后，可以学会文本分类的任务。 就是说，我们期待做到的事...
Meta Learning学习（一）
StarfishCu的博客
10-09 159
要开展meta learning的相关工作，从0肝起，记录下来。 概念 Meta Learning称为元学习，云里雾里的名字，看了名字根本不知道这是干嘛的。但通俗的理解就是learning to learn，学会学习，目标就是为了让机器学会如何去学习，快速完成学习任务。 近年的热门ai的发展历程可以认为是：deep learning -> reinforcement learning -> meta learning。deep learning的代表就是cnn rnn这些现在看来已经有更好上位
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值