记忆网络论文相关笔记(不全)

Hybrid computing using a neural

network with dynamic external memory

 

DNC 架构不同于最近提出的Memory networks和Pointer networks的神经记忆框架，其区别在于DNC内存有选择性地可以写入和读取，
 允许迭代修改内存内容。
 如果内存可以被认为是 DNC 的 RAM，然后网络，被称为控制器，是可微 CPU的操作是通过梯度下降进行学习。
 DNC的早期结构，神经图灵机ntm，拥有相似的结构，但使用了更受限的内存存取方法
 决定 和应用权值的单元叫做读写头
 相比传统计算机使用唯一编址内存，DNC使用可微注意/分析机制[2,16-18]定义指派内存第N行或者“位置”，在N*W的矩阵M中（这样直接定义内存有问题啊），
 这些分派，这里我们成为权值，表示此处位置涉及到读或者写的程度/度量？。读向量r通过对记忆矩阵M的一个读权值操作wr返回( 记忆位置的权值累加和 )

 a,一个DNC结构从额外的数据源接受数据输入并产生输出;
b,c,控制器可以写/输出向量（参数化一个写磁头-绿色）且并联一个读磁头（上图中有两个，蓝色和粉色）。
写磁头定义了一个写和擦除向量（用于编辑N*M内存块），其元素的量级和符号通过块区域和shading唯一表示。另外，一个写键用来查找内容去寻找先前写过的位置（待编辑）。写键可以用于定义一个权值（有选择的）确定于写操作在矩阵块的行或者位置。
读磁头可以使用门（被称作读模式）来进行 使用一个读键（“C”）进行内容查找，和读出位置后（使用F键进行前向搜索或者“B”键进行后项）写入。
d.使用标记位置向量 记录目前已使用位置，一个缓存链接矩阵记录被写入的顺序；图中，我们使用有向箭头表示写入的顺序。

KV-MemNN可以看作是MemN2N的一个拓展. 而Recurrent Entity Network也借用了key-value memory，不过EntNet中的key是可学习的参数.

EntNet的每个memory cell由key和value组成，分别为wi和hi。 每个cell都有一个关联的processor，
即一个gated RNN，负责根据当前输入和过去的状态来更新状态。各个memory cell是独立的，因此EntNet可以看做是一系列共享权值的gated RNN。

了RelNet，在EntNet的基础上增加了参数rij给出每个两个memory hi和hj的的关联程度，也取得了很好的结果。