【李宏毅2020 ML/DL】补充：Meta Learning - Gradient Descent as LSTM

我已经有两年 ML 经历，这系列课主要用来查缺补漏，会记录一些细节的、自己不知道的东西。

本次笔记补充视频 BV1JE411g7XF 的缺失部分。上节课李老师讲了元学习中的参数初始化方法：MAML 与 Reptile 。本节课内容为 Gradient Descent as LSTM 。在 B 站搜索 meta 与 lstm 即可找到视频。本节内容 30 分钟左右。

注意：本节讨论的是“元学习”，我们将讨论用 LSTM 做优化器的方法。我们所指的训练，是指训练优化器 LSTM 的参数。

本节内容综述

1. 我们可以把元学习的过程，当然 RNN 来看。首先复习 RNN 。多数时候，我们说 RNN ，其实就是在用 LSTM 。
2. 比较 LSTM 中的运算与 meta-learning 中的更新式，会发现有一些相似之处。
3. 在实际操作中，我们做了非常大的简化。
4. 此外，我们很久以前介绍过一些优化方法，如 RMSProp 、Momentum ，是需要过去的梯度来确定现在的梯度的。因此，可以根据这个为 LSTM 做些改进。

小细节

引入 RNN

如上，我们的训练过程像 RNN 计算过程。主要源自两篇文章。

Recurrent Neural Network

如上，RNN的输入输出过程。

多数时候，我们说 RNN ，其实就是在用 LSTM 。



LSTM的运算如上。

Similar to gradient descent based algorithm

如上，我们何不把 c t c^t c