论文分享--- >Learning to Rank: From Pairwise Approach to Listwise Approach

博客内容将首发在微信公众号"跟我一起读论文啦啦"，上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文，欢迎关注！

本篇博文分享和总结下论文$LearningtoRank:FromPairwiseApproachtoListwiseApproach$，论文链接listNet，参考的实现代码：实现代码

本篇论文和深度学习关系大，主要是关于排序、推荐、文件检索等方面，因为实习时涉及到一些排序模型，所以在此延伸和总结下。

pairwise优缺点

优点：

• 一些已经被验证的较好的分类模型可以直接拿来用。
• 在一些特定场景下，其 $pairwisefeatures$ 很容易就可以获得。

缺点：

• 其学习的目标是最小化文档对的分类错误，而不是最小化文档排序的错误。学习目标和实际目标（$MAE,NDCG$）有所违背。
• 训练过程可能是极其耗时的，因为生成的文档对样本数量可能会非常多。

那么本篇论文是如何解决这些问题呢？

1. 在$pointwise$ 中，我们将每一个$<query,document>$ 作为一个训练样本来训练一个分类模型。这种方法没有考虑文档之间的顺序关系；而在$pariwise$ 方法中考虑了同一个$query$ 下的任意两个文档的相关性，但同样有上面已经讲过的缺点；在$listwise$ 中，我们将一个$<query,documents>$ 作为一个样本来训练，其中**$documents$ 为与这个$query$ 相关的文件列表**。
2. 论文中还提出了概率分布的方法来计算$listwise$ 的损失函数。并提出了$permutationprobability$ 和 $toponeprobability$ 两种方法。下面会详述这两种方法。

Listwise Approach

假设我们有$m$ 个 $querys$：
$$Q=(q^{(1)},q^{(2)},q^{(3)},...,q^{(m)})$$

每个$query$ 下面有$n$ 个可能与之相关的文档（对于不同的$query$ ，其$n$ 可能不同）：
$$d^{(i)}=(d_1^{(i)},d_2^{(i)},...,d_n^{(i)})$$

对于每个$query$ 下的所有文档，我们可以根据具体的应用场景得到每个文档与$query$ 的真实相关度得分。
$$y^{(i)}=(y_1^{(i)},y_2^{(i)},....,y_n^{(i)})$$

我们可以从每一个文档对$(q^{(i)},d_j^{(i)})$ 得到该文档的特征向量，由此可以得到该$query$ 下的所有文档的特征向量：
$$x^{(i)}=(x_1^{(i)},x_2^{(i)},...,x_n^{(i)})$$
并且可知每个文档真实相关度得分：
$$y^{(i)}=(y_1^{(i)},y_2^{(i)},...,y_n^{(i)})$$

由此，我们可以构建训练样本：
$$T={\left\{\begin{array}{c}(x^{(i)},y^{(i)})\end{array}\right\}}_{i=1}^m$$

要特别注意的是：这里面一个训练样本是$(x^{(i)},y^{(i)})$，而这里的$x^{(i)}$ 是一个与$query$ 相关的文档列表，这也是区别于$pointwise$ 和 $pairwise$ 的一个重要特征。

那么有训练样本了，如何计算$loss$ 呢？
假设我们已经有了排序函数 $f$，我们可以计算特征向量$x^{(i)}$ 的得分情况：
$$z^{(i)}=(f(x_1^{(i)}),f(x_2^{(i)}),...,f(x_n^{(i)}))$$

显然我们学习的目标就是，最小化真实得分和预测得分的误差：
$$\sum _{i=1}^{m}L(y^{(i)},z^{(i)})$$
$L$ 为$listwise$ 的损失函数。

概率模型

假设对于某一个$query$ 而言，与之可能相关的文档有 { 1 , 2 , 3 , . . . , n } \{1, 2, 3, ..., n\} {1,2,3,...,n}，假设某一种排序的结果为$\pi$：
$$\pi =<\pi (1),\pi (2),..,\pi (n)>$$
另外一种排序结果为${\pi }^{\prime }$：
$${\pi }^{\prime }=<{\pi }^{\prime }(n),{\pi }^{\prime }(n-1),..,{\pi }^{\prime }(1)>$$

对于$n$ 个文档，有$n!$ 种排列情况。这所有的排序情况记为${\Omega }_n$。假设已有排序函数，那么对于每个文档，我们都可以计算出相关性得分$s=(s_1,s_2,...,s_n)$。

显然对于每一种排序情况，都是有可能发生的，但是每一种排列都有其最大似然值。

我们可以这样定义某一种排列$\pi$ 的概率（最大似然值）：
$$P_s(\pi )=\prod _{j=1}^n\frac{\varphi (s_{\pi (j)})}{{\sum }_{k=j}^n\varphi (s_{\pi (k)})}$$

例如有三个文档$pi=<1,2,3>$ ，其排序函数计算每个文档得分为$s=(s_1,s_2,s_3)$，则该种排序概率为：

对于另外一种排序，例如${\pi }^{\prime }=<3,2,1>$ ，则这种排列概率为：

论文中总结了一些排序的性质，但是我感觉没什么卵用。

Top K Probability

上面那种计算排列概率的方式，其计算复杂度达到$n!$，太耗时间，由此论文中提出了一种更有效率的方法 $topone$。我们在这里推广到$topk$ 来分析总结。

上面计算某一种排序方式概率：
$$P_s(\pi )=\prod _{j=1}^n\frac{\varphi (s_{\pi (j)})}{{\sum }_{k=j}^n\varphi (s_{\pi (k)})}$$
排在第一位的有$n$ 种情况，排在第二位的有$n-1$ 种情况，后面依次类推。相当与利用 $topn$ 来计算。

那么$topK(K<n)$ 计算：
$$P_s(\pi )=\prod _{j=1}^K\frac{\varphi (s_{\pi (j)})}{{\sum }_{k=j}^n\varphi (s_{\pi (k)})}$$
同理，这里的计算复杂度为$n\ast (n-1)\ast (n-2)\ast ...\ast (n-k+1)$，即为$N!/(N-k)!$ 种不同排列，大大减少了计算复杂度。

如果$K=1$ ，就蜕变成论文中 $topone$ 的情况，此时有$n$ 种不同排列情况：
$$P_s(\pi )=\frac{\varphi (s_{\pi (j)})}{{\sum }_{k=j}^n\varphi (s_{\pi (k)})}$$

对于$N!/(N-k)!$ 种不同的排列情况，就有$N!/(N-k)!$ 个排列预测概率，就形成了一种概率分布，再由真实的相关性得分计算相应的排列概率，得到真实的排列概率分布。由此可以利用$cross-entropy$ 来计算两种分布的距离作为损失函数：

例如一个查询下有三个文档$<A,B,C>$ ：

上图中$g$ 为有真实打分计算出的各种排列的概率分布，$f、h$ 为另外两种排列概率分布，我们就是需要比较那种排列概率分布与真实的排列概率分布更为接近，就用该分布的预测相关性得分作为最终得分。

ListNet

在论文中，$Listnet$ 只是将上面的$topK$ 中的$\varphi$ 函数变成$exp$ 函数：

$$P_s(\pi )=\frac{\exp (s_{\pi (j)})}{{\sum }_{k=j}^n\exp (s_{\pi (k)})}$$

这样不就是计算预测出的得分的$softmax$ 了吗？实际上的确如此，在实现代码中就是这样做的，当时我直接看代码还一脸懵逼，这不就是对文档预测出来的得分做了个 $softmax$ 操作吗？跟$top-one$ 有什么关系，仔细看论文才知道怎么回事。

$top-one$ 时，只有$n$ 种排列情况，这大大减少了计算量。如果$topK(K>1)$ ，则需要计算的排列情况就会变多。

假设排序函数 $f$ 的参数为$w$ ，则$top-one$ 的排列概率分布为：

算法流程：

这里还是需要注意：是将某一个查询下的所有可能与之相关的文档列表，作为一个样本来训练。

损失函数：

参数求导：

以上就是$ListNet$ 的大体思路。

我们找出了这样排序函数 $f_w$ 后，然后利用其给文档的打分，来给文档进行排序。

个人总结

• 在 $pairwise$ 中，只考虑了两个文档对的相对先后顺序，却没有考虑文档出现在搜索列表中的位置，排在搜索站果前列的文档更为重要，如果前列文档出现判断错误，代价明显高于排在后面的文档。针对这个问题的改进思路是引入代价敏感因素，即每个文档对根据其在列表中的顺序具有不同的权重，越是排在前列的权重越大，即在搜索列表前列，如果排错顺序的话其付出的代价更高(评价指标NDCG)； 而$listwise$ 讲一个查询下的所有文档作为一个样本，因为要组合出不同的排列，得到其排列概率分布，来最小化与真实概率分布的误差，这里面就考虑了文档之间的各种顺序关系。很好的避免了这种情况。
• 从概率模型的角度定义损失函数。
• 在实做时，其实将一个$query$ 下的的所有可能与之相关的$n个doc$ 作为一个训练样本（这时可以理解 $batch\_size=n$） ，一定要注意：在计算$top\_oneprobability$ 时，是在一个$query$ 内的所有文档做$softmax$ ，而不是在当前正在训练的所有的样本内做。这是区别$pointwise、pairwise$ 的重要不同之处。