机器阅读理解（MRC）必看论文 - RNET

原创：张春阳

数据集

• SQuAD
• QA

原始论文

r-net.pdf

• 论文中只介绍了原理和方法，并没有给出代码
• 找到的代码为第三方复现
• 需要注意，本篇中的 passage 就是之前我们说过的 context

任务样本

从原文中找到一个连续的 sub-span

Passage: Tesla later approached Morgan to ask for more funds to build a more powerful transmitter. When asked where all the money had gone, Tesla responded by saying that he was affected by the Panic of 1901, which he (Morgan) had caused. Morgan was shocked by the reminder of his part in the stock market crash and by Tesla’s breach of contract by asking for more funds. Tesla wrote another plea to Morgan, but it was also fruitless. Morgan still owed Tesla money on the original agreement, and Tesla had been facing foreclosure even before construction of the tower began.

Question: On what did Tesla blame for the loss of the initial money?

Answer: Panic of 1901

模型概览

• 对 question 和 passage 进行编码
• 获取与 question 相关的 passage 表达
• 在 passage 上应用 self-matching attention 去获得最终的表达
• 从 passage 中预测出 question 的 answer
• 这里使用了很多 RNN 的结构，训练采用 E2E 的方式

步骤1: Question and Passage Encoder

注意该步骤包含两个部分

• embedding
• text encoding

Embedding

每一个 word 被表示为两个向量的 concat，

• 一个向量是 GloVe 向量， $e_t^Q$ (Question) 和 $e_t^P$ (Passage)，当某些 word 在 GloVe 中是缺失的状态时(OOV)，我们会把它的向量都设置成 0。
• 另一个是一个 character level 的向量，$c_t^Q$ (Questi)和 $c_t^P$ (Passage)。

为了获取这个 character level 的向量，我们可以在 Embedding 后增加一个 bi-GRU 层。然后每一个 character 都被 embed 成一个 $H$ dimensional 的向量。

• $N$ 为 Passage 的长度
• $M$ 为 Question 的长度
• $C$ 为 25，表示26 个英文字母的编码长度
• $H$ 等于 75，代表 embedding 的维度

How does mask_zero in Keras Embedding layer work?

Encoding

下面的符号是在原始论文中的一些符号表达

• $u^Q$ 表示 question 的向量
• $u^P$ 表示 passage 的向量

神经网络会继续使用 u Q u^Q u