（2017 ICML）Learning to learn without gradient descent by gradient descent笔记

最新推荐文章于 2023-11-11 11:10:09 发布
最新推荐文章于 2023-11-11 11:10:09 发布
阅读量1.2k 收藏
点赞数
分类专栏： 论文笔记

  • 无需梯度下降的梯度下降，学会一个会学习的模型

  • 论文作者：Yutian Chen, Matthew Hoffman, Sergio Gomez, Misha Denil, Timothy Lillicrap, Matthew Botvinick , Nando de Freitas（全部都是 DeepMind 英国团队成员）

  • 论文简介：借助梯度下降的方法，可以用简单的生成函数训练，学到循环神经网络（RNN）优化器。可以表明，这些学到的优化器展现出了相当高的迁移能力，它们可以用来高效地优化很多种不可导的“黑盒”函数，包括 bandit 环境下的高斯过程、简单控制对象、全局优化benchmark和超参数调节任务。在训练层面上，学到的优化器可以学会在应用和探索中找到平衡，并且根据自己的偏好在高度工程化的贝叶斯优化方法集中选择适合做超参数调节的方法。

  • 论文地址：https://arxiv.org/abs/1611.03824 

This_is_alva
关注
专栏目录
Stochastic Gradient Descent (SGD) 原理与代码实战案例讲解
程序员光剑
07-26 275
Stochastic Gradient Descent (SGD) 原理与代码实战案例讲解 关键词： SGD（随机梯度下降） 最小化损失
UA MATH567 高维统计专题3 含L1-norm的凸优化6 Stochastic Gradient Descent简介
一个不愿透露姓名的博客
07-10 230
UA MATH567 高维统计专题3 含L1-norm的凸优化6 Stochastic Gradient Descent
Learning to Learn without Gradient Descent by Gradient Descent论文解析（黑箱优化问题）
migue_math
03-28 1365
本篇论文属于元学习和黑箱函数优化的交叉领域，其中将元学习的思想应用于黑箱函数优化。这篇论文发表于2017年。 对于黑箱函数优化方法我了解的不太多，因此本文的不可避免的会有一些理解不到位的地方。 想要了解贝叶斯优化和高斯过程的，可以看我翻译的两篇文章： 高斯过程是什么? 贝叶斯优化如何工作？ 1 Introduction 发展心理学表明婴儿具有多个针对核心知识的分散的系统，通过这些系统，他们可以...
Learning to learn by gradient descent by gradient descent
绕池闲步看鱼游，正值儿童弄钓舟。
04-08 3262
Learning to learn by gradient descent by gradient descent简介昨天DeepMind开源了基于TensorFlow的深度学习库——Sonnet。DeepMind之前发布的learning to learn的代码实际上就是基于Sonnet实现的。本文解决的是优化算法的学习问题。具体来说，机器学习中我们经常可以把优化目标表示成：标准的优化过程是更新如
Learning to learn by gradient descent by gradient descent||元学习||自动学习优化器的设计
VIEO
05-05 749
元学习论文总结||小样本学习论文总结 2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019 参考：Learning to learn by gradient descent by gradient descent - PyTorch实践...
Learning to learn by gradient descent by gradient descent - PyTorch实践
热门推荐
senius的博客
11-25 1万+
原创博文，转载请注明来源（csdn or blog） 引言 Learning to learn，即学会学习，是每个人都具备的能力，具体指的是一种在学习的过程中去反思自己的学习行为来进一步提升学习能力的能力。这在日常生活中其实很常见，比如在通过一本书来学习某个陌生专业的领域知识时（如《机器学习》），面对大量的专业术语与陌生的公式符号，初学者很容易看不下去，而比较好的方法就是先浏览目录，掌握一些简...
Learning to learn by gradient descent by gradient descent 笔记
alva_bobo的博客
11-16 2489
转载地址：https://zhuanlan.zhihu.com/p/21362413 什么意思呢？就是用梯度下降的方法学会了梯度下降的学习方法。 用一个神经网络来调控另一个神经网络！ 怎么做？如上图，一个是神经网络优化器，一个是被优化的神经网络，也就是我们平时都用的神经网络。这里我们把数据输入到被优化的神经网络中，然后输出误差，把误差信号传给神经网络优化器，这个优化器就自己计算输出参
2019_ICML_Domain Agnostic Learning with Disentangled Representations
weixin_44858740的博客
02-01 297
2019_Domain Agnostic Learning with Disentangled Representations
Learning to Learn by Gradient Descent by Gradient Descent网络前向计算图
Keith
08-23 801
Learning to Learn By Gradient Descent by Gradient Descent 前向计算图（黄色线表示梯度流动方向） Optimization as a Model For Few-Shot Learning前向计算图（黄色表示梯度流动方向） ...
【论文阅读】Learning to learn by gradient descent by gradient descent-通过梯度下降学习如何学习梯度下降
最新发布
qq_56483157的博客
11-11 216
本文将优化算法的设计视作一个学习问题，通过LSTM实现的学习算法，使得算法能够自动学习如何利用所关注问题中的结构，其表现优于手工设计的算法，并且有很好的泛化能力。
机器学习 -- Gradient Descent
01-30
Gradient Descent Review: Gradient Descent Tip 1: Tuning your learning rates Adaptive Learning Rates Adagrad Contradiction Intuitive Reason Larger gradient, larger steps
Learning to rank using gradient descent.
03-21
Learning to rank using gradient descent
LSTM用于元学习-"Learning to learn by gradient descent by gradient descent"-笔记详解
migue_math
12-03 3860
Andrychowicz, Marcin, et al. “Learning to learn by gradient descent by gradient descent.” Advances in neural information processing systems. 2016. 文章目录1 简介2 如何对optimizee进行参数更新？3 如何对optimizer进行参数更新？4 实...
learning to learn using gradient descent-2001||论文阅读
VIEO
05-19 971
元学习论文总结||小样本学习论文总结 2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019 2001年，Sepp Hochreiter和AS Younger＆PR Conwell基于Long短期记忆RNN建立了一个成功的监督元学习者。它...
深度学习【10】利用LSTM学习梯度下降法等优化方法：Learning to learn by gradient descent by gradient descent
DCD_LIN的博客
07-04 9760
Meta-RL之Learning to Learn Using Gradient Descent
Ton的博客
09-14 598
Meta-RL是将Meta-Learning结合在强化学习上的学习算法。Meta-RL旨在训练出一个可以泛化到新的task上的学习算法FFF。给定一个新的环境，或者说一个新的MDPMDPMDP，FFF只要在新环境中采样少量样本进行微调，即可快速适应得到最优策略fπ∗f_\pi^*fπ∗​。而fπ∗f_\pi^*fπ∗​就是我们之前用标准RL算法一直在做的一件事。这里以监督学习为例(将分类模型替换成RL中的策略模型πθ\pi_\thetaπθ​就是Meta-RL在做的事)，来理解Meta-RL： Meta-R
Meta-RL之Learning to Learn by gd by gd
Ton的博客
09-21 733
这篇文章由DeepMind发表于2016年，比MAML的发表要早一些。2001年发表了一篇Learning to Learn Using Gradient Descent，这篇是其进一步的改进与优化。论文标题中就可以看出文章的目的：针对不同的需要用到梯度下降优化的模型，用梯度下降来优化的元学习算法去学习一种对应的梯度下降算法。可能听起来有点难以理解，但看过MAML这篇论文的，就可以把它和MAML放一起看，只不过MAML是通过元学习算法去学习初始化参数，而这篇使用元学习算法去学习一种优化算法。 参考列表： ①
Gradient Descent学习笔记
snorlaxx的博客
03-05 193
今日网课初步学习了 Gradient Descent，特此把笔记记下，以后有空看看。 （同专业的发现不要抄我作业 TAT） 定义出损失函数loss function，若该函数可微分，则可以使用梯度下降法。设变量为X={Xa，Xb……}，损失函数为L（X）。为了找到损失函数的最小值（即目标的最优解），通过任意取一个初始值{Xa0，Xb0，……}，然后根据函数的性质迭代n次，找出较优的X解，迭代的方法...
持续学习+元学习+无监督学习文章调研（七）
weixin_42939529的博客
05-14 1027
持续学习+元学习+无监督学习文章调研（七）LEARNING TO LEARN WITHOUT FORGETTING BY MAXIMIZING TRANSFER AND MINIMIZING INTERFERENCE持续学习中的迁移-干扰算法流程RESERVOIR SAMPLING & ER元学习与ReptileMER全流程算法及变体参数选择实验结果Few-Shot Lifelong Learning, AAAI2021模型结构&任务定义&基础训练训练方法选择特征更新&&am
使用梯度下降学习排名：RankNet与样本数据集
"样本数据集-Learning to rank using gradient descent." 在机器学习领域，特别是信息检索和推荐系统中，Learning to Rank 是一个重要的任务，它涉及到根据特定的标准对一组对象进行排序，例如搜索引擎的搜索结果...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值