本文介绍了FAQ检索任务，探讨了如何使用active learning减少标注成本，并结合life long learning解决模型训练问题。相关工作涵盖了FAQ检索的不同策略，如基于query-question和query-answer的相关性计算。在active learning部分，讨论了几种主动学习方法，如基于uncertainty、diversity和expected model change的策略。最后，简述了终身学习的概念，即任务增量学习，以保持旧任务能力并学习新任务。
杂记@TOC
FAQ是一种常见任务检索的任务，其目标是根据用户的查询从数据库中检索适当的问答(QA)。现阶段主流方法考虑了用户查询(q)和常见问题(Q)之间的相似性以及查询问题(q)和答案(A)之间的相关性。许多FAQ检索模型使用q和QA对之间具有相关性标签的数据集。但是，构造这样的标记数据花费很多。为了减少人工标注的成本并提升模型效果，基于active learning进行最小成本标注，并用life long learning模型解决训练问题。
相关工作：
FAQ：
任务描述: 根据用户的查询q从知识库中找到合适的QA_pair
《FAQ retrieval using query-question similarity and BERT-based query-answer relevance》
- 有q-Q和q-A两个思路。
- q-Q的计算基于Best Match25(BM25),得到分数scoreQ。
- q-A的计算：使用Bert来解决(q-A)的二分类问题，将问题q和答案A作为输入，输出得到两者的相关性分数scoreA。
- 综合两个分数策略：(1)当scoreQ高于设定阈值时，表示q和Q中的单词彼此高度重叠，搜索结果具有较高的可信度。故直接根据scoreQ输出结果进行排名(2)当scoreQ低于设定阈值，表示很难解决q和Q之间的词汇空缺，按照scoreQ*t+scoreA得分进行排名。
《Effective FAQ Retrieval and Question Matching Wit
最低0.47元/天 解锁文章
扫一扫
879
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
