最近想把memory network的那一套引入到自己的任务中,所以写一些学习过程中的笔记。
here is the paper http://cs224d.stanford.edu/reports/KapashiDarshan.pdf
memory 最开始出现在是 QA(问答系统)任务中。下面是memory network的结构
由4个单元组成
input单元 ,Generalization单元,output单元,Response单元。
memory network的结构和神经图灵机的结构很相似
Input converts incoming input text to the internal feature representation.
Input单元的作用是将文本转化为特征向量,其实许多任务中都已经有特定的特征转换方式,比如bi-lstm ,CNN等