【论文】PARADE: 段落表示聚合文档

PARADE: Passage Representation Aggregationfor Document Reranking

论文链接：https://arxiv.org/pdf/2008.09093.pdf

ABSTRACT

将文档段落中的相关信号聚合成最终排名分数的策略，称这种新方法为 PARADE。

INTRODUCTION

PLM 通常会限制序列的长度（例如，限制为 512 个标记）以降低计算成本。因此，当应用于临时排名任务时，PLM 通常用于预测段落或单个句子的相关性 。然后聚合最大或最大通过分数（例如，前 3 个）以产生文档相关性分数。

实验表明，聚合段落级别的相关性分数来预测文档的相关性分数优于使用最大段落分数的常见做法。

RELATED WORK

Contextualized Language Models for IR

Passage-based Document Retrieval.

Representation Aggregation Approaches for NLP 

Knowledge Distillation

METHOD

段落分数聚合如图a，段落表示聚合如图b。

 

 表示聚合的几种方式如上图所示。

对段落的[cls]进行表示聚合，进而表达文档得分。其中通过transformer聚合的效果最好。