Learning2Rank-lambda loss解读(2)

上一篇文章中，将LambdaLoss分为如下三个方面进行介绍

1. 排序中会遇到的问题
2. LambdaLoss Framework解读
3. 由评测指标驱动的损失函数的定义

参考论文为《The LambdaLoss Framework for Ranking Metric Optimization》
这次接着LambdaLoss Framework解读开始。

2. LambdaLoss Framework解读

我们以概率的形式来定义损失，具体可参考Learning2Rank-lambda loss解读(1)。
我们可以认为一个文档序列的得分s可以表征一个特定的分布。用$\pi$表示一个特定的资料排序，然后用 { P ( π ∣ s ) : π ∈ Π } \{ P(\pi|s): \pi \in \Pi\} { P(π∣s):π∈Π}来表示这种排列的概率。看到这里大家是不是有点眼熟了，后验概率最大化。由于$\pi$我们并不知道，所以可以将$\pi$视为隐变量，这样s决定了一组特定的资料排列$\pi$，然后在这种排列下，求解出现特定labe的概率，即
$$P(y|s)=\sum _{\pi \in \Pi }P(y|s,\pi )P(\pi |s)$$
基于这个概率表示，我们可以重新定义损失。我们的目标是使上述概率达到最大，换言之可以取负号将其设置为最小，然后通过算法的方法求解。
$$l(y,s)=-lo{g}_{2}P(y|s)=-lo{g}_2\sum _{\pi \in \Pi }P(y|s,\pi )P(\pi |s)$$
基于上述公式，可以讲损失拆为两部分，似然函数$P(y|s,\pi )$和分布函数$P(\pi |s)$。

2.1 似然函数

似然函数可以定义为两种形式，简单的如Bradley-Terry模型。复杂一些的考虑资料在排列中的位置。
对于简单的形式，通过sigmoid函数定义该概率，注意在损失中只保留排序出错的pair：
$$P(y_i>y_j|s_i,s_j)=\frac{1}{1+e^{-\sigma (s_i-s_j)}}$$$$l(y,s)=-lo{g}_{2}P(y|s)=\sum _{y_i>yj}lo{g}_2(1$$