Neural Turing Machines
结合RNN和一个外部memory以实现对于序列数据的读写操作。
Attentional Interfaces
在一个ANN(通常为RNN)中加入注意力机制来处理上一个ANN(CNN或者RNN)的输出。
常用领域为机器翻译、语音信号处理、image captioning等。
Adaptive Computation Time
通过注意力机制使RNN在每一个time step运算的次数不等。
现在还只是prototype级的想法。
简略地说了一下attention和强化学习的区别:
强化学习一次选择一个action,feedback不可导,难以训练;
attention机制在每一个time step都同时选取所有的directions,通过权重将它们merge成为一个solution。