Meta Learning总结

Learning to learn.

---

百花齐放的研究思路

•   基于memory的方法

网络的输入把上一次的y label也作为输入，并且添加了external memory存储上一次的x输入，这使得下一次输入后进行反向传播时，可以让y label和x建立联系，使得之后的x能够通过外部记忆获取相关图像进行比对来实现更好的预测

•  基于预测梯度的方法

让神经网络利用以往的任务学习如何预测梯度，这样面对新的任务，只要梯度预测得准，那么学习得就会更快了？

• 利用Attention注意力机制的方法

人的注意力是可以利用以往的经验来实现提升的，那么，能不能利用以往的任务来训练一个Attention模型，从而面对新的任务，能够直接关注最重要的部分。

• 借鉴LSTM的方法

LSTM内部的更新非常类似于梯度下降的更新，那么，能否利用LSTM的结构训练出一个神经网络的更新机制，输入当前网络参数，直接输出新的更新参数？这个想法非常巧妙。