SetRank（2020SIGIR）

 SetRank的源代码和实验在https://github.com/pl8787/SetRank。

介绍

Learning to Rank的任务可以描述为两个步骤：

1. 首先，在训练步骤中，构建一个排名模型，将每个查询文档对投影到一个排名分数，并从诸如用户点击和相关注释之类的标记数据中学习。
2. 第二步是测试步骤，将学习到的排名模型应用于为新查询检索到的一组文档，并最终向用户返回经过排序的文档列表。

在实践中，搜索引擎用户通常在生成单击操作之前比较结果页上的多个文档。此外，对查询和文档相关性注释的研究表明，来自同一排名列表中的其他文档的信息可能会影响注释者对当前文档的决策，这挑战了一个基本假设，即相关性应该针对单个信息请求在每个文档上独立建模。

本文提出了一个多元排序模型，它的输入是任意大小的文档集，输出是集合上的置换。该模型被称为SetRank，它充分利用self-attention机制，学习从文档集到其排列的多元评分函数映射。首先，它接收一整套文档（编码为一组向量）作为输入。然后，使用一堆多头自我注意块作为关键组件，共同学习整套文档的嵌入。最后将排的分数作为网络的一个输出，并将其作为网络的最后一个输出进行充分的连接。

模型

Problem Formulation

查询$q$，项目集对应于查询$q$检索到的$N$个文档$D$=[$d_1$,…,$d_n$]，$D$是所有索引文档的集合。排序的任务是在文档集$D$上找到一个置换$\pi$$\in$${\prod }_N$，使某个效用最大化，其中${\prod }_N$是索引{1,2，···，N}的所有排列的集合。

在Learning to rank，使用一组带标签的查询—文档对训练排名模型。对于每个查询$q$，提供其检索到的文档集合和文档—查询相应的相关性标签，并表示为${\psi }_q$={ $D$={ $d_i$}，$y$={ $y_i$}| $1$≤$i$≤$N$}，其中$y_i$表示与$d_i$对应的相关性标签。因此，包含所有训练查询的数据集可以表示为$\Psi$={ ${\psi }_q$}。Learning to rank的目标是最小化训练数据的经验损失，并得到最优的评分函数$F$（·）：

其中$l$（·）是损失函数；$F$（·）：$D^N$→$R^N$是负责为文档分配分数的评分函数，以便通过对分数进行排序来生成结果排列
运算符“sort”根据$F$（$D$）指定的分数按降序对$D$中的文档进行排序。对已有的模型进行了单点学习，得到了一些特殊的模型

Requirements of Ranking Model

在文档集上定义的评分函数$F$应该满足两个关键要求。

1. 首先，它应该能够描述检索到的文档之间的相互关系，称为跨文档交互。
2. 其次，函数的输出在输入集中的文档的任何排列下都不应改变，称为置换不变性。
   在实际应用中，输入序列往往会传递隐藏的偏差信息，如按文档id排序、按创建时间排序或按耗时排序，这些信息可能与文档的有用性无关，并可能降低置换感知模型的鲁棒性。置换不变模型在理论上解决了这个问题。构造置换不变排序模型的一种方法是先用置换等变评分函数对文档进行相关性评分，然后根据得分进行排序。

SET-RANK

Overall Architecture

SetRank中文档排名的管道由三层组成：representation, encoding, and ranking。

1. 首先，表示层将每个输入的文档分别表示为特征向量，此外，它还可以通过ordinal嵌入（比如BM25预先生成的排名嵌入）对特征表示中的文档进行初始排序。初始排名可以由现有的排名模型生成，如BM25或经过训练的LambdaMART模型。
2. 第二，编码层通过涉及相关文档的其他特征向量来丰富每个查询文档对的特征向量。本文利用多头自注意块（MSAB）或Induced多头自注意块（IMSAB），以一组查询文档对表示作为输入，利用这些自注意块生成一组新的表示。MSAB或IMSAB块的多个子层堆叠在一起使用相同的结构来建模文档之间的高阶交互。第三，Ranking层接收最顶层的MSAB（或IMSAB）块的输出向量，将其传递给一个行前馈（$r$$F$$F$）函数，生成所有文档的相关性分数，最后根据这些分数对文档进行排序。

Document Representation

给定一个查询$q$及其相关文档集$D$=[$d_1$，$d_2$，···，$d_N$]，$D$中的每个文档都可以表示为一个特征向量
其中，$\varphi$是特征提取的函数，$E$是向量的维数。本文使用了传统学习库中提取的特征，包括PageRank的纯文档特征、TF-IDF的查询文档匹配特征、BM25等。除了传统的学习排序特征外，SetRank还可以选择包含文档序号嵌入作为输入。在实际的搜索引擎中，与查询相关联文档可能有一些由默认排名模型（如BM25或LambdaMART等）生成的预先排名，为了包含这些初始排名信息，并受Transformer中位置嵌入的启发，本文提出了一个ordinal嵌入函数$P$，它以文档的绝对排名位置作为输入，并将位置编码