(2017 ICML)Learning to learn without gradient descent by gradient descent笔记

  • 无需梯度下降的梯度下降,学会一个会学习的模型

  • 论文作者:Yutian Chen, Matthew Hoffman, Sergio Gomez, Misha Denil, Timothy Lillicrap, Matthew Botvinick , Nando de Freitas(全部都是 DeepMind 英国团队成员)

  • 论文简介:借助梯度下降的方法,可以用简单的生成函数训练,学到循环神经网络(RNN)优化器。可以表明,这些学到的优化器展现出了相当高的迁移能力,它们可以用来高效地优化很多种不可导的“黑盒”函数,包括 bandit 环境下的高斯过程、简单控制对象、全局优化benchmark和超参数调节任务。在训练层面上,学到的优化器可以学会在应用和探索中找到平衡,并且根据自己的偏好在高度工程化的贝叶斯优化方法集中选择适合做超参数调节的方法。

  • 论文地址:https://arxiv.org/abs/1611.03824 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值