ColBERT（2020SIGIR）

 ColBERT: Eficient and Efective Passage Search via Contextualized Late Interaction over BERT

1.介绍

预训练的LM在IR上计算成本太高。本文考虑降低计算成本的同时，保证检索性能，并且结合基于表示和交互的模型（如下图$d$）。
预训练LM带来的显著提升是以计算成本为代价的：下图展示了各个检索模型的计算成本，所有的model在Tesla V100 GPU上对MS MARCO上Ranking

为了协调信息检索中的效率和语境化，作者提出了$C$$o$$l$$B$$E$$R$$T$：基于上下文化的后期交互的排序模型–contextualized late interaction over BERT 。ColBERT提出了一种新的后期交互范式，用于估计查询$q$和文档$d$之间的相关性。在后期交互下，$q$和$d$被分别编码到两组上下文嵌入中，并且相关性是使用两组之间廉价且$p$$r$$u$$n$$i$$n$$g$-$f$$r$$i$$e$$n$$d$$l$$y$的计算来评估的——也就是说，快速计算能够在不穷举评估每个可能的候选项的情况下进行排名。整体框架看下图右👉IR模型对比

IR模型对比：

($d$):每个查询 embedding 都通过MaxSim操作符与所有文档嵌入交互，MaxSim操作符计算最大相似度(例如cos)，并且这些操作符的标量输出在查询项之间求和。这个范例允许$C$$o$$l$$B$$E$$R$$T$可以利用基于LM的深度表示，同时将编码文档的成本转为offline，并在所有已排序文档中一次性摊销编码查询的成本。 此外，它使Colbert能够利用向量相似度搜索索引（FAISS）直接从大型文档集中检索前$k$个结果，从而大大改善了仅基于术语的re-rank模型的召回率 。

2. Architecture

一个query encoder $f_Q$，编码query $q$到$E_q$。
一个document encoder $f_{}$