NLP面试题目26-30

26. GRU

GRU即Gated Recurrent Unit。前面说到为了克服RNN无法很好处理远距离依赖而提出了LSTM，而GRU则是LSTM的一个变体，当然LSTM还有有很多其他的变体。GRU保持了LSTM的效果同时又使结构更加简单，所以它也非常流行。

而GRU模型如下，它只有两个门了，分别为更新门和重置门，即图中的zt和rt。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。重置门用于控制忽略前一时刻的状态信息的程度，重置门的值越小说明忽略得越多。

它将忘记门和输入门合成了一个单一的 更新门。同样还混合了细胞状态和隐藏状态，和其他一些改动。最终的模型比标准的 LSTM 模型要简单，也是非常流行的变体。

27.Memory network

Memory Network出现之前，大多数机器学习的模型都缺乏可以读取和写入外部知识的组件，例如，给定一系列事实或故事，然后要求回答关于该主题的问题。原则上这可以通过如RNN等模型进行语言建模来实现，因为这些模型可以被训练在阅读了一串文字之后用来预测下一个输出。然而，它们的记忆（隐藏状态和权重编码）通常太小，并且不能精确地记住过去的事实（知识被压缩成密集的向量）。
一个Memory Network由一个记忆数组m（一个向量的数组或者一个字符串数组，index by i&