RNN自学（2）

RNN史上最强教学 episode2

Memory network

Intro：Memory Networks are a relatively new class of models designed to alleviate the problem of learning long-term dependencies in sequential data, by providing an explicit memory representation for each token in the sequence.
部分解释：对文字的句子通过线性变换成为新的vector，将question也通过embedding 变成新的vector，然后进行点乘。

Dynamic memory network

前面没有考虑句子和句子的关系，所以有了增强版。
用GRU RNN生成表示。
用两层的神经网络得到注意力（Attention）的大小，注意力大小表示每句话和question的similarity。用第三个RNN（Episodic Memory Module）来使用Attention来进行记忆。然后这些部分是不断重复的（绿色的部分表示最外层的RNN）。最后还要对输出进行RNN，将输出和question进行结合处理。

缺点：需要supporting fact（句子中的和问题相关的位置），一般数据没有这种标记。

DMN +

improved memory network
改进一：句子的信息可以相互的流动，句子的分析可以包含它前后的信息。
改进二：把输出结果前的RNN变成FC。
改进之后准确率上升。

Key-value memory network

Key is a window of words in doc
Value is the centre word in window or title of doc
Fine values which in the database by key and then use the values as the possible answers of the question.