Meta Learning-Gradient Descent as LSTM
观察我们之前学到MAML流程,发现这是一个类似RNN的过程。我们可以把参数看成RNN的Memory,而每次都会把一个训练数据放进NN中。
复习RNN
简短地复习一下RNN。RNN的优势就在于无论input再怎么长,参数量都不会增加。因此很适合处理input是一个sequence的情况。
但我们一般用到的是RNN的变形LSTM。一般说RNN就是指LSTM。
RNN和Gradient Descent
我们将RNN和Gradient Descent的式子写下来比较,发现 θ θ θ和 c t c^t ct的式子很像。那我们不如把 c t c^t