1 简介
DPR:Dense Passage Retrieval,密集文本段检索。
本文根据《Dense Passage Retrieval for Open-Domain Question Answering》翻译总结。
开放式问答依赖于有效的文本检索来选择候选内容。传统的方法TF-IDF、BM25采用的是稀疏向量空间方法。而我们发现可以使用密集表达,其中embedding可以在双重encoder框架下学习小数量的问题与文章来获得,我们采用的BERT来学习文本embedding。
密集的(隐藏层语义编码)是稀疏表达的补充。如回答问题“Who is the bad guy in lord of the rings?”(谁是指环王中坏蛋?),我们可以通过文本“Sala Baker is best known for portraying the villain Sauron in the Lord of the Rings trilogy.”( Sala Baker在指环王中扮演反面角色Sauron)找到答案。但是term-based的方法很难找到正确答案,不过密集(dense)方法可以匹配出“bad”和“villain”(反面角色)。
学习密集向量表达(dense vector representation)需要大量的标签数据对:问题和相关文本。
QRAR方法已经展示了密集检索可以超越BM25。
2 TF-IDF与BM25
参考文章:https://www.cnblogs.com/jiangxinyang/p/10516302.html
2.1 TF−IDF算法
2.2 BM25算法
3 背景知识
检索单元可以通过top-k 检索正确率来评估效果。
4 Dense Passage Retriever (DPR)
DPR就是优化上节说的检索单元。
DPR将所有的文本段p编译到一个低维的连续空间,方便它可以有效的检索top k个文本段来回答输入的问题。M是非常大,我们实验中是百万级别,k是很小,例如20到100.
对于encoder,我们可以采用任意的神经网络,我们采用的是两个独立的BERT 网络。
5 训练
学习一个好的embedding function。+是正样本,-是负样本。
,包含m个实例。
损失函数如下:
6 In-batch negatives
在每个mini-batch有B个问题,每个问题有一个相关的文本段。
Q:问题的矩阵,Bd;
P:文本段的矩阵,Bd;
这种方法有效的提升了训练样本的数量。
7 实验结果
可以看到DPR的top-k 检索正确率( retrieval accuracy)好于BM25。
7.1 Run-time Efficiency
Dense embedding建立索引比较耗时,比如2100万的文本段需要8个多小时;而lucence(搜索引擎)只需要30分钟。
7.2 QA系统效果
DPR也很好。即DPR有较高的top-k 检索正确率,也会有较高的QA 正确率。