知识库问答KB-QA——非结构化知识篇

最新推荐文章于 2024-05-05 10:34:52 发布

StriveQueen

最新推荐文章于 2024-05-05 10:34:52 发布

阅读量1k

点赞数 1

分类专栏：知识库问答文章标签： nlp 人工智能算法

本文链接：https://blog.csdn.net/strivequeen/article/details/109629850

版权

知识库问答专栏收录该内容

11 篇文章 1 订阅

订阅专栏

非结构化的知识库——维基百科
思路与模型
- Document Retriever
- Document Reader
实验结果
总结

以斯坦福和Facebook AI Research17年的文章Reading Wikipedia to Answer Open-Domain Questions为例，介绍使用非结构化的知识库——维基百科作为知识源来进行KB-QA。

非结构化的知识库——维基百科

相比更适合机器去理解的结构化知识库，维基百科的非结构化知识更适合人们去阅读，而这样的非结构化知识往往比结构化知识库更加的丰富和巨大，使用非结构化知识进行KB-QA具有更强大的泛化性。

给定一个问题，我们可以在维基百科中找到相关信息和答案，如下表所示：

在这里插入图片描述
可以看出，对于问题我们可以在维基百科中找到相应的文章，根据文章找到与答案相关的段落，然后提取出答案。

思路与模型

思路其实很简单，分两个步骤：

根据问题检索出维基百科中的相关文章（Document Retriever）
在文章中找到相应的段落并提取出答案（Document Reader），这一步其实和NLP中的阅读理解问题很相似，可以借鉴其中的技术来完成。整个流程如下图所示：

Document Retriever

通过问题检索出相关的文章有很多的方法，最简单的方法就是统计两者的TF-IDF得到词袋模型向量，然后通过cosine similarity等相似度度量方式进行检索。进一步可以将相邻词汇也考虑进去，使用n-gram的词袋模型。这篇文章中，作者使用bigram的词袋模型，为了加快效率，将bigram映射为murmur3 hash。

对于问题，我们通过Document Retriever检索出最相关的五篇文章。

Document Reader

使用NLP 阅读理解问题中的一些方法来得出答案。对于每篇文章的每个段落，去预测一个文本区间作为答案的概率。具体来说，我们根据问题去预测该自然段答案的起始位置（start position）和终止位置（end position）。依次对每篇文章的每个段落进行预测，选出概率最大的区间作为最终答案。

首先对每个段落进行encoding，将段落中的每一个token用一个特征向量表示，该特征向量包含以下四个部分：

词向量（Word-embbedings）：300维度预训练好的词向量，由于问题中有些词语比较特殊，如疑问词，因此在训练中，对word-embedding中前1000的高频词进行fine-tune，其他词的word-embedding固定使用预训练的值，不再进行训练。
抽取匹配（Exact Match）：用三个二元的指示器来表示该token是否在问题中出现，三个二元指示器分别表示该token的不同形式的表达（如大小写）。
符号的特征（Token Features）：我们也将该符号的词性标注、命名实体和归一化后的TF作为3个特征加入到特征向量中。
引入对问题的注意力机制（Aligned question embedding）：该特征和特征2抽取匹配类似，都是为了表征该token和问题的关联度，与特征2不同的是，该特征考虑了整个问题与它的相似度，而非某一个具体的单词，是一种soft-alignment。具体来说，将问题每个单词的embedding和该token通过点乘比较相似度得到加权系数，再对问题每个单词的embedding进行加权求和作为该特征，公式如下：
$f_{\text {align}}\left(p_{i}\right)=\sum_{j} \alpha\left(\mathbf{E}\left(p_{i}\right), \mathbf{E}\left(q_{j}\right)\right) \mathbf{E}\left(q_{j}\right)$

其中p代表段落中的token，q代表问题中的token，E表示embedding，alpha是二者点乘后的归一化相似度，即：
$\alpha_{j} \propto \frac{\mathbf{E}\left(p_{i}\right)^{\top} \mathbf{E}\left(q_{j}\right)}{\sum_{j^{\prime}} \mathbf{E}\left(p_{i}\right)^{\top} \mathbf{E}\left(q_{j^{\prime}}\right)}$

这样就将段落中的每一个token进行了向量化，接下来我们使用一个3层的双向LSTM对段落进行encoding，假设双向LSTM每一层隐层为h，将所有隐层连接起来，这样对于每个token就得到了一个6h大小的向量表达 $p_{i}$ 。

接下来我们对问题进行encoding，使用另外一个3层的双向LSTM对问题的word-embedding进行编码，将每时刻的隐层进行加权求和，该归一化加权系数由训练得到，学习了问题中每个单词的重要程度，这样就得到了一个问题的向量表达 $q$ 。

得到了问题和段落的编码，就可以进行答案区间的预测了，对于段落的每一个位置i，都用两个双线性项去分别预测它作为答案起始位置和终止位置的概率，公式如下：
$\begin{aligned} P_{\text {start}}(i) &=\operatorname{softmax}\left(\mathbf{p}_{i} W_{s} \mathbf{q}\right) \\ P_{\text {end}}(i) &=\operatorname{softmax}\left(\mathbf{p}_{i} W_{e} \mathbf{q}\right) \end{aligned}$

在该段落中去寻找一个区间最有可能是答案的区间[i,i’]，即满足 $P_{\text {start}}(i) \times P_{\text {end}}\left(i^{\prime}\right)$ 最大，且 $\leq i^{\prime} \leq i+15$ 。将每个候选段落中最可能是答案的区间进行比较，选出最终的答案区间，这里为了能够在所有段落中进行比较，用指数形式替换掉归一化的Softmax。

实验结果

作者使用2016-12-21版的英语版维基百科作为知识源，通过对每一页进行文本提取和结构化元素的删除（section、list、figure、index）等预处理，最终得到了5,075,182篇文章，含9,008,962种token。

关于答案问题对，作者使用了三个数据集QA的数据集：CuratedTREC、WebQuestion和WikiMovies，作者也加入了阅读理解问题的数据集SQuAD，以上数据集的规模如下表所示：

在这里插入图片描述
与SQuAD数据集不同，其他三个QA数据集只有答案问题对，没有标注对应的维基百科文章和段落，因此作者使用以下方法去生成标签：

对于每个问题，检索出最相关的5篇文章，将不包含问题答案的段落，以及长度不满足区间25-1500的段落去掉，如果问题中带有命名实体，则也将不包含该命名实体的段落删除。对于剩下的段落，我们对包含答案的位置进行评分，评分的标准是问题和该段落位置20 token的window中一元和二元的重叠程度，选取重叠程度最高的作为远程监督学习的label。

对于document retriever的性能，作者在四个数据集上进行了测试，测试能够在最相关的5个文章中找到答案的概率，并与Wikipedia Search Engine进行比较，结果如下：

在这里插入图片描述
可以看出作者提出的document retriever在该问题上性能要优于Wikipedia Search Engine。

对于document reader，作者使用h=128的3层双向LSTM，0.3的dropout以及Adamax作为优化器进行训练，并比较了 1）只在SQuAD上训练，和2）先在SQuAD上预训练，再单独在三个QA数据集上进行远程监督训练fine-tune（+Fine-tune）以及3）在四个数据集上进行多任务训练的测试结果——Top-1 exact-match 正确率，如下表所示：

在这里插入图片描述
可以看出，经过多任务训练之后的模型，效果会更好一些。