《查询问题相似与基于Bert的FAQ问答系统》知识图谱阅读笔记(五)

FAQ Retrieval using Query-Question Similarity and BERT-Based Query-Answer Relevance

一、介绍
FAQ是一种常见任务检索的任务，其目标是根据用户的查询从数据库中检索适当的问答(QA)。该文章提出了一种FAQ检索系统，它们的的方法考虑了用户查询(q)和常见问题(Q)之间的相似性以及查询问题(q)和答案(A)之间的相关性。
许多 FAQ检索模型使用q和QA对之间具有相关性标签的数据集。但是，构造这样的标记数据花费很多。为了解决这个问题，论文采用了一种无监督的方法来计算查询和问题之间的相似度。 另一方面，可以通过在FAQ数据库中使用QA对来计算查询(q)和答案(A)之间的相关性，这显示了给定q的FAQ答案的合理性。
论文中的localgovFAQ(从地方政府常见问题解答页面收集的 质量检查对)和StackExchange(FAQ的公开数据集 )两个数据集来训练模型。

二、论文方法

1. 任务描述: 以当地政府常见问题解答为例, 假设本地政府常见问题集(FAQ)的数量为N，并表示为$T_1,T_2,T_3,...,T_N$。目标FAQ集表示为 $T_t=Q_1{A}_1,Q_2{A}_2,...,Q_M{A}_M$。任务是根据用户的查询q从$T_t$中找到合适的质量检查对$Q_i{A}_i$。
2. 使用TSUBAKI实现q-Q的形似计算: 该方法基于Best Match25(BM25),该方法时在信息检索系统中根据提出的query对document进行评分的算法。论文将每个(Q,A)对中的Q看作是document，并计算q与Q之间的相似度 $Similarity(q,Q)$。
3. 使用Bert计算q-A的相关性：Bert被设计为使用针对大型原始语料库的语言模型目标进行预训练，并针对包括句子分类，句子对分类和问题解答在内的每个特定任务进行微调。论文的方式使用Bert来解决(q-A)的二分类问题，将问题q和答案A作为输入，输出得到两者的相关性。选取数据集中的(Q,A)对为正样本，相关性Relevance(Q,A)记作1。随机选择$\bar{A}$产生负样本$(Q,\bar{A})$，其相关性$Relevance(Q,\bar{A})$记作0。在搜索阶段，为用户的查询q和目标$T_t$中的每个QA对计算$Relevance(q,A_i)(i=1,...,M)$, 排名较高的质量检查对用作搜索结果。
4. TSUBAKI与Bert的结合：(1)当TSUBAKI 的相似度分数很高时，为q和Q中的单词彼此高度重叠，搜索结果具有较高的可信度。(2)但是，TSUBAKI很难解决q和Q之间的词汇空缺。另一方面，由于BERT验证了q和A之间的相性，因此即使q和Q之间存在词汇空缺，它也可以检索适当的QA对。
5. 相似排名计算：结合(4)中提出的两个特性。首先，论文方法将 BERT的输出结果排在前十位；对于TSUBAKI得分高于$\alpha$的QA对，我们按照TSUBAKI得分的顺序对其进行排名；其余的按照$Similarity(q,Q)\times t+Relevance(q,A)$的得分来进行计算排名，其中 t 为超参数。

三、实验
实验构建了当地政府常见问题集，包含1786个QA对。然后使用众包收集了对该政府的查询共990个查询。

TSUBAKI和BERT为每个查询最多输出五个相关的质量检查对， 并且对每个质量检查对进行了手动评估，分配了以下四个类别： A包含正确的信息。 B包含相关信息。 C该主题与查询相同，但不包含相关信息。 D仅包含无关信息。