本文探讨了如何使用LSTM作为元学习器，将其转换为梯度下降的形式，并通过实验展示了LSTM在学习梯度下降过程中的表现，包括结合动量项的改进。实验结果显示，LSTM能够动态学习优化过程，并且Forget gate的动态学习率取得了良好效果。
8.7 Meta learning元学习全面理解、MAML、Reptile
本节讨论的是“元学习”，我们将讨论用 LSTM 做优化器的方法。我们所指的训练，是指训练优化器 LSTM 的参数。
1、介绍
我们可以把元学习的过程，当然 RNN 来看。首先复习 RNN 。多数时候，我们说 RNN ，其实就是在用 LSTM 。
比较 LSTM 中的运算与 meta-learning 中的更新式，会发现有一些相似之处。
在实际操作中，我们做了非常大的简化。
此外，我们很久以前介绍过一些优化方法，如 RMSProp 、M
订阅专栏 解锁全文
扫一扫
967
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
