最大独立匹配_一种解决bert长文本匹配的方法

引言

bert提出来后打开了迁移学习的大门，首先通过无监督的语料训练通用的语言模型，然后基于自己的语料微调(finetune)模型来达到不同的业务需求。我们知道bert可以支持的最大token长度为512，如果最大长度超过512，该怎么样处理呢？下面这边论文提供一种简单有效的解决思路。

Simple Applications of BERT for Ad Hoc Document Retrieval

201903发表

1. 摘要

bert大招很好用，但是其最大长度为512以及其性能这两个缺点给我们的线上部署提出了挑战。我们在做document级别的召回的时候，其文本长度远超bert可以处理的长度，本文提出了一种简单并且有效的解决思路。将长的document分解成多个短的句子，每个句子在bert上独立推断，然后将这些句子的得分聚合得到document的得分。

2. 论文细节以及实验结果

2.1 长文本匹配解决思路

作者先以短文本匹配任务-社交媒体的帖子来做召回实验，通过query来召回相关的帖子，一般帖子的长度是较短的文本，在bert可以处理的范围内。实验的评价指标为两个平均召回(AP)和top30的召回率(P30)，下表是最近的深度模型在这个数据集上的结果。

我觉得上述实验数据主要说一点：

b