本文介绍了记忆增强神经网络（MANN）和神经图灵机（NTM），这两种模型通过外部记忆模块解决传统神经网络的长期记忆问题。NTM由控制器和记忆库组成，利用读写头和寻址机制处理信息。MANN则利用元学习解决one-shot问题，快速吸收新数据并进行准确预测。内容包括NTM的读写头、寻址机制以及MANN的读写记忆和LRUA模块。
文章目录
👉8.7 Meta learning元学习全面理解、MAML、Reptile
记忆增强神经网络（MANN）进行元学习解决one-shot问题。
传统的基于梯度的网络需要学习大量的数据，通常是通过大量的迭代训练。当遇到新数据时，模型必须低效地重新学习它们的参数，以便在不产生灾难性干扰的情况下充分整合新信息。
神经图灵机是MANN的一个完全可微的实现。它由一个记忆库和控制器组成，控制器如前馈网络或LSTM，使用多个读写头与外部记忆模块交互。NTM外部记忆模块中的记忆编码和信息检索是快速的，每个时间步都有可能将向量表示放入或取出记忆。
这种能力使NTM成为元学习和低概率预测的完美候选，因为它既可以通过其权重的缓慢更新进行长期记忆，也可以通过其外部记忆模块进行短期记忆。因此,如果一个NTM可以学习通用的策略，什么样的表征应该放入记忆中和如何使用这些表征预测。这样ÿ
订阅专栏 解锁全文
扫一扫
573
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
