元学习论文OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING的简单理解

最新推荐文章于 2022-07-27 19:05:24 发布
最新推荐文章于 2022-07-27 19:05:24 发布
阅读量2.4k 收藏 8
点赞数 3
分类专栏： meta-learning 文章标签： 元学习 meta-learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34562093/article/details/87929407
版权

 

我们常用的基于梯度优化的深层网络往往需要大量的数据和迭代步骤。
我们面对的数据场景是有一系列小的数据集而不是一个大的数据集，每一个类有很少的标记数据，这种情况和人类的学习很像，通过一个给定的数据，就能总结出对事物全面的认识，其中主要有两个原因导致了基于梯度的优化算法在小样本下表现不好。元学习被认为是实现人类水平的智能的一个关键点，元学习在两个层次间学习，（1）在每项任务中学习，（2）同时积累任务之间相似性和差异的知识。
受参数梯度更新的启发，提出了基于lstm的元学习模型，因为元学习的更新和lstm细胞状态的更新相似，因此我们训练一个基于lstm的元学习器来学习训练网络过程中的更新规则，我们把lstm中单元的状态看作元分类器的参数，将元学习器的更新规则和LSTM的细胞状态更新相匹配。


元学习优化器能够在给定一系列分类器在训练集的梯度和损失下，为分类器生成一系列更新，从而使分类器达到较好的表现。每一步迭代t，基于lstm的元学习器都接受到分类器传来的梯度，损失等信息，元学习器基于此计算学习率和忘记门的值，并返回给分类器要更新的参数的值，每迭代T步，分类器的损失在测试集上计算出来返回给元学习器，用来训练元学习器，更新元学习器的参数。

带注释论文的下载链接如下：
https://download.csdn.net/download/qq_34562093/10975718

傅里叶、
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Optimization as a model for few-shot learning. (优化一个模型，用于少样本学习)---论文阅读笔记
binger520886的博客
07-01 744
参考博客：https://blog.csdn.net/weixin_37589575/article/details/96995985
Optimization as a model for few-shot learning 论文笔记
qq_30146937的博客
03-23 421
前言 本文提出了一个基于LSTM的meta-learner模型来学习最优化算法，该算法将用于训练另一个learner分类器（神经网络分类器）。meta-learner捕获了任务中的short-term知识，和所有任务中共有的long-term知识，由meta-learner模型优化的另一个learner分类器在每个任务上都能快速收敛。 除此之外，meta-learner模型还学习了适用于其它lea...
元学习论文​​Optimization as a model for few-shot learning的简单理解_详细注释
02-26
元学习论文​​Optimization as a model for few-shot learning的简单理解，带有论文的详细注释和个人理解
（2017 ICLR）OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING笔记
alva_bobo的博客
11-16 2661
论文训练了一个长短期记忆网络（LSTM） 你可以训练一个神经网络，让它学会如何学习（即元学习）。具体来说，已经有一些研究团队训练出了能够执行随机梯度下降（SGD）的神经网络。不仅这些研究团队可以证明他们的神经网络能够学习SGD，而且这种网络的效果比任何人工调试的方法都要好。 与《Deep Reinforcement Learning for Accelerating the Converg
Meta-RL之Optimization as a Model for Few-Shot Learning
Ton的博客
09-25 1317
这篇文章和Andrychowicz在2016年发表的Learning to learn by gradient by gradient很相似，都是利用Meta-Learning来学习出一个优化算法，并且需要注意的是Meta-Learner都是基于LSTM的循环神经网络，这也就是本论文标题的由来——将优化看成是一个模型(RNN)。 Meta-Learning的通俗解释： 少样本学习(Few-shot Learning)是Meta-Learning在监督学习领域的一个应用。元学习的关键是找到一种系统化的方法去学
[ICLR 2017] Optimization as A model for Few Shot Learning
一亩高粱
11-23 482
Meta-LSTM用LSTM实现FSL网络的梯度下降
元学习之《OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING》论文详细解读
seeker的博客
08-30 1436
引言 之前的博客都是通过随机梯度下降来更新网络模型参数，本篇博客别出心裁地使用 LSTM 来模拟梯度下降的更新过程，学习一种隐式更新规则实现参数更新。个人觉得创新度还是很高的。 OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING 背景 基于梯度下降的深度学习模型取得了巨大成功，但是作者认为，梯度下降更新在被发明之初就是用于大规模数据的学习，在少量数据的情况下，梯度下降更新的方法会失效，主要有以下两个原因： 各种基于梯度下降的优化算法，如 ADAM，Adagrad,
Learning to Compare: Relation Network for Few-Shot Learning
wohoo~
07-27 1081
Relation Network
Generalizing from a Few Examples: A Survey on Few-Shot Learning
weixin_38654615的博客
01-08 1830
Generalizing from a Few Examples: A Survey on Few-Shot Learning 论文地址：paper 这篇概述很简洁：简介的论文解读 一、 摘要 机器学习在有大量数据支撑的时候的效果很好，但是数据量很少的时候效果很差了。Few shot learning 是针对于这个问题场景下提出的解决办法，他可以迅速自适应到一个新的任务中去。FSL的核心问题是unreliable empirical risk minimizer，基于如何利用先验知识来解决问题，我们可以把
论文阅读笔记《Optimization as A Model for Few-shot Learning》
深视
05-04 2791
核心思想   本文提出一种采用元学习的方式解决小样本学习任务的方法。作者首先指出为什么普通的深度学习算法在小样本学习任务中表现不佳，他认为有两个方面的原因：第一，基于梯度的优化算法（如momentum，ADAM）不是为小样本学习任务设计的，其需要大量的样本经过数百万次迭代才能收敛到一个较好的结果；第二，对于每个单独的数据集，网络都需要从一个随机的初始化状态开始更新参数，这导致他无法在只经过几次迭代...
西工大自动控制原理ppt
03-19
西工大自动控制原理ppt.工大很牛的一个老师的课件，考试时候必备的资源之一。
西北工业大学自控考研试卷
01-11
西北工业大学自控考研试卷，包含一些年份的自控考研试卷。
西北工业大学自动控制原理
10-16
西北工业大学的卢老大的自动控制原理PPT，个人也一直再用
Optimization as a model for few-shot learning. (优化一个模型，用于少样本学习) -- ICLR 2017 Oral 论文
CaoChengtai的博客
07-23 7504
目录1. 摘要2. 介绍3. 任务描述3.1 问题设置4. 模型4.1 模型描述4.2 参数共享和预处理4.3 训练4.4 梯度独立性假设5. 个人理解6. 其他7. 论文链接 1. 摘要 尽管深度神经网络已经在大数据领域取得了巨大的成功，但是他们通常在少样本学习任务上表现很糟糕。少样本任务需要分类器必须在仅看到每个类很少的样本后快速推广泛化。一般认为，在高容量的分类器中的基于梯度的优化算法需要大...
论文阅读问题总结(三)：Optimization as A Model for Few-Shot Learning
qq_32599109的博客
03-19 248
1.本文作者想要解决什么问题？如何解决？ 作者指出传统的深度学习的参数更新和优化方法在小样本学习问题上并不能够很好地work。这主要是因为 1：基于梯度的优化算法：Momentum、Adagrad、Adam并不适用于在梯度更新步长受限的场景，即它们都是为大数据多步迭代而设计的优化算法。小样本更新高维参数模型容易过拟合，所以梯度更新步长受限(另一个需要受限的原因是元学习的主要目标之一是可以快速学习)，不能遵循传统深度学习的Rountine在adaption过程多次更新参数。 基于上述问题作者提出了一种自动学习
Optimization as a model for few-shot learning||论文阅读
VIEO
04-15 3843
元学习论文总结||小样本学习论文总结 2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019 介绍：对Few-shot learning中的优化进行建模 本文通过将SGD更新规则解释为具有可训练参数的门控递归模型，描述了一种新的元学习...
论文分享（4）---- OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING)----元学习meta-lstm
qq_18838211的博客
05-03 1173
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 论文分享（4）---- OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING摘要一、问题定义二、Model1. 模型定义2. 模型参数共享和预处理3. 梯度更新简化总结 摘要 尽管深度学习在数据量充足的领域已经取得了很大的成功，但是它们很难在数据量匮乏的情况下发挥。这是因为现有的优化策略都是基于梯度进行更新，由于参数量的缘由，这种梯度更新的方式需要更多的step才能达到收敛。针对这一问题，作者提出了.
《OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING》解读
bysilen的博客
01-11 292
以下是对论文《OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING》解读和对应模型的构建（参考《Learning to learn by gradient descent by gradient descent 》） 该论文的核心目的：解决小样本学习的优化问题，使任务学习器即使在数据量不大的情况下也可以优化到较好的地步。 解决方法：使用基于LSTM网络的元学习器来进行优化。 核心问题：如何训练一个用于优化的元学习器。 所以对于这样问题，要明确： 任务：训练一个用于优化的
小样本学习|元学习ICLR2017《Optimization as A Model for Few-shot Learning》
qq_22497977的博客
11-16 372
经典论文汇总: 小样本学习论文汇总链接
LSTM用于元学习-"Learning to learn by gradient descent by gradient descent"-笔记详解
migue_math
12-03 3843
Andrychowicz, Marcin, et al. “Learning to learn by gradient descent by gradient descent.” Advances in neural information processing systems. 2016. 文章目录1 简介2 如何对optimizee进行参数更新？3 如何对optimizer进行参数更新？4 实...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值