DPR：一种开放式问答（QA）模型

1 简介

DPR：Dense Passage Retrieval，密集文本段检索。
本文根据《Dense Passage Retrieval for Open-Domain Question Answering》翻译总结。

开放式问答依赖于有效的文本检索来选择候选内容。传统的方法TF-IDF、BM25采用的是稀疏向量空间方法。而我们发现可以使用密集表达，其中embedding可以在双重encoder框架下学习小数量的问题与文章来获得，我们采用的BERT来学习文本embedding。

密集的（隐藏层语义编码）是稀疏表达的补充。如回答问题“Who is the bad guy in lord of the rings?”（谁是指环王中坏蛋？），我们可以通过文本“Sala Baker is best known for portraying the villain Sauron in the Lord of the Rings trilogy.”（ Sala Baker在指环王中扮演反面角色Sauron）找到答案。但是term-based的方法很难找到正确答案，不过密集（dense）方法可以匹配出“bad”和“villain”（反面角色）。

学习密集向量表达（dense vector representation）需要大量的标签数据对：问题和相关文本。

QRAR方法已经展示了密集检索可以超越BM25。

2 TF-IDF与BM25

参考文章：https://www.cnblogs.com/jiangxinyang/p/10516302.html

2.1 TF−IDF算法

2.2 BM25算法

3 背景知识

检索单元可以通过top-k 检索正确率来评估效果。

4 Dense Passage Retriever (DPR)

DPR就是优化上节说的检索单元。
DPR将所有的文本段p编译到一个低维的连续空间，方便它可以有效的检索top k个文本段来回答输入的问题。M是非常大，我们实验中是百万级别，k是很小，例如20到100.

对于encoder，我们可以采用任意的神经网络，我们采用的是两个独立的BERT 网络。

5 训练

学习一个好的embedding function。+是正样本，-是负样本。

，包含m个实例。

损失函数如下：

6 In-batch negatives

在每个mini-batch有B个问题，每个问题有一个相关的文本段。
Q：问题的矩阵，Bd；
P：文本段的矩阵，Bd；

这种方法有效的提升了训练样本的数量。

7 实验结果

可以看到DPR的top-k 检索正确率( retrieval accuracy)好于BM25。

7.1 Run-time Efficiency

Dense embedding建立索引比较耗时，比如2100万的文本段需要8个多小时；而lucence（搜索引擎）只需要30分钟。

7.2 QA系统效果

DPR也很好。即DPR有较高的top-k 检索正确率，也会有较高的QA 正确率。