利用BERT和覆盖率机制改进的HiNT文本检索模型

摘要: 为有效提升文本语义检索的准确度，本文针对当前文本检索模型衡量查询和文档的相关性时不能很好地解决文本歧义和一词多义等问题，提出一种基于改进的分层神经匹配模型(hierarchical neural matching model，HiNT)。该模型先对文档的各个段提取关键主题词，然后用基于变换器的双向编码器（bidirectional encoder representations from transformers, BERT）模型将其编码为多个稠密的语义向量，再利用引入覆盖率机制的局部匹配层进行处理，使模型可以根据文档的局部段级别粒度和全局文档级别粒度进行相关性计算，提高检索的准确率。本文提出的模型在MS MARCO和webtext2019zh数据集上与多个检索模型进行对比，取得了最优结果，验证了本文提出模型的有效性。

• 关键词: 
• 基于变换器的双向编码器  /  
• 分层神经匹配模型  /  
• 覆盖率机制  /  
• 文本检索  /  
• 语义表示  /  
• 特征提取  /  
• 自然语言处理  /  
• 相似度  /  
• 多粒度  

文本检索是信息检索最重要、最基础的方向，它的功能是根据用户指定的查询从文档库中检索出相关的文档，并根据相关度排序后返回给用户。文本检索中的核心问题是如何衡量查询和文档的相关性。对于大规模的文档库，查询表示的语义在许多文档的不同位置中都有不同程度的体现，其相关度需要综合文档的整体信息和局部信息来计算[1]。主流的处理方法是将查询和文档分别编码为稠密向量再进行复杂的相关性分数计算。由于用户输入的查询往往是高度提炼的简短语句，而文档中的信息复杂多样