《推荐系统笔记（十一）》Learning to rank（LTR排序问题）的介绍和RankNet算法（内含详细推导）

前言

在美团、大众点评等网站上输入某个关键词时，这些网站该如何对相关的文档进行排序，也就是说，应该将哪个文档排在前面，将哪个文档排在后面。

这就涉及到LRT排序问题。本篇博客将简要介绍LTR问题，并对RankNet进行详细推导。

训练数据

刚接触LTR问题，可以从认识它的训练数据开始。

我们将输入的关键词称为$query$（查询词），搜集到的所有文档集合，记为 { d o c 1 , d o c 2 , . . . , d o c N } \{doc_1, doc_2, ..., doc_N\} {doc1​,doc2​,...,docN​}，每个文档都和这个$query$有关。

训练数据就是由 query，docs和标注 三者组成的。举个例子，

• query 1，query 2，query 3
• $do{c}_{11}$，$do{c}_{12}$，$do{c}_{13}$
• $do{c}_{21}$，$do{c}_{22}$，$do{c}_{23}$
• $do{c}_{31}$，$do{c}_{32}$，$do{c}_{33}$
• …，…，…
• 标注1，标注2，标注3

实际上，训练集有三种形式，也就对应着三种方法。

point-wise

第一种是point-wise，意思是，对query下的每一个doc都进行标注，

• 可以是二分的，如标注 相关或者不相关
• 可以是多分类的，如标注 perfect（完美）、excelent（出色）

point-wise的训练集中，每一条数据是这个样子的

• query1，doc1，标注（相关）
• query2，doc2，标注（不相关）
• query3，doc3，标注（相关）

我们可以通过常规的分类模型，如LR、SVM、GBDT等，输入为query和doc，输出为标注。

pair-wise

第二种是pair-wise，意思是，对query下的任意两种doc的相对顺序，$<do{c}_i,do{c}_j>$进行标注，标注标签为{+1, -1, 0}。

• 当标注为+1时，$<do{c}_i,do{c}_j>$意思是$do{c}_i$在$do{c}_j$前面，也就是说$do{c}_i$比$do{c}_j$要和query更相关
• 当标注为-1时，$<do{c}_i,do{c}_j>$意思是$do{c}_i$在$do{c}_j$后面，也就是说$do{c}_j$比$do{c}_i$要和query更相关
• 当标注为0时，$<do{c}_i,do{c}_j>$意思是$do{c}_i$和$do{c}_j$与query的相关程度一样

pair-wise的训练集中，每一条数据是这个样子的

• query，$<do{c}_1,do{c}_2>$，标注（+1）
• query，$<do{c}_2,do{c}_1>$，标注（-1）
• query，$<do{c}_1,do{c}_3>$，标注（+1）
• query，$<do{c}_3,do{c}_2>$，标注（-1）

list-wise

第三种是list-wise，意思是，对query下的整个doc列表进行标注。我们将训练集中的数据记为$(x,y)$，$x$为特征向量，$y$为标注，则list-wise里面，$x=(query,do{c}_1,do{c}_2,...,do{c}_N)$，$y$则为标注。

比如，在美团中输入“烤鱼”，页面会显示出$N$个烤鱼文档，这些烤鱼文档都是排好序的，因此，数据可以记为$x=("烤鱼",do{c}_1,do{c}_2,...,do{c}_N)$，$y$为标注（例如 很好 之类的）。

RankNet算法

这里，我们介绍一种pair-wise的算法，RankNet算法。具体内容如下，

• 我们通过一个打分函数来给query下的所有文档进行打分，打分函数为 $$s=f(doc;w)$$ 其中，$w$为我们要优化的参数
• 对于文档$do{c}_i$和$do{c}_j$，给它们打分为$s_i=f(do{c}_i;w)$和$s_j=f(do{c}_j;w)$，这样，我们可以通过比较得分，来获得两个文档之间的相对位置，即
  $$label(<do{c}_i,do{c}_j>)=\{\begin{array}{lll}+1& if& s_i>s_j\\ 0& if& s_i=s_j\\ -1& if& s_i<s_j\end{array}$$
• 对于训练的数据集$(<do{c}_i,do{c}_j>,S_{ij})$， S i j ∈ { + 1 , 0 , − 1 } S_{ij}\in\{+1, 0, -1\} Sij​∈{+1,0,−1}，我们可以将这个标签一一映射为概率${\bar{P}}_{ij}$，即$${\bar{P}}_{ij}=\frac{1}{2}(1+S_{ij})$$
• 对于数据$<do{c}_i,do{c}_j>$，我们预测得到的标记为+1的概率$P_{ij}$记为$$P_{ij}=sigmoid(s_i-s_j)=\frac{1}{1+e^{-(s_i-s_j)}}$$ 这样，我们就可以说
  $$label(<do{c}_i,do{c}_j>)=\{\begin{array}{lll}+1& if& P_{ij}<0.5\\ 0& if& P_{ij}=0.5\\ -1& if& P_{ij}>0.5\end{array}$$
• 现在，我们有了标注+1的实际概率${\bar{P}}_{ij}$和预估概率$P_{ij}$，对于给定的单个数据$(<do{c}_i,do{c}_j>,S_{ij})$，我们可以写出损失
  $$\begin{array}{lll}{C}_{ij}& =& -{\bar{P}}_{ij}log{P}_{ij}-(1-{\bar{P}}_{ij})log(1-P_{ij})\\ & =& -\left[\frac{1}{2}(1+S_{ij})log\frac{1}{1+e^{-(s_i-s_j)}}+\frac{1}{2}(1-S_{ij})log\frac{e^{-(s_i-s_j)}}{1+e^{-(s_i-s_j)}}\right]\\ & =& -\left[\frac{1}{2}(1-S_{ij})(-(s_i-s_j))+log\frac{1}{1+e^{-(s_i-s_j)}}\right]\\ & =& \frac{1}{2}(1-S_{ij})(s_i-s_j)+log(1+e^{-(s_i-s_j)})\end{array}$$

对损失$C_{ij}$关于参数$w_k$求导，有
$$\begin{array}{lll}\frac{\partial C_{ij}}{\partial w_k}& =& \frac{\partial C_{ij}}{\partial s_i}\frac{\partial s_i}{\partial w_k}+\frac{\partial C_{ij}}{\partial s_j}\frac{\partial s_j}{\partial w_k}\end{array}$$
这里，$\frac{\partial s_i}{\partial w_k}=\frac{\partial f(do{c}_i;w)}{\partial w_k}$且$$\frac{\partial C_{ij}}{\partial s_i}=\frac{1}{2}(1-S_{ij})-\frac{e^{-(s_i-s_j)}}{1+e^{-(s_i-s_j)}}$$且 $$\frac{\partial C_{ij}}{\partial s_j}=-\frac{1}{2}(1-S_{ij})+\frac{e^{-(s_i-s_j)}}{1+e^{-(s_i-s_j)}}$$

• 不难发现，$\frac{\partial C_{ij}}{\partial s_i}=-\frac{\partial C_{ij}}{\partial s_j}$。令${\lambda }_{ij}=\frac{\partial C_{ij}}{\partial s_i}$，则
  $$\begin{array}{lll}\frac{\partial C_{ij}}{\partial w_k}& =& {\lambda }_{ij}(\frac{\partial s_i}{\partial w_k}-\frac{\partial s_j}{\partial w_k})\end{array}$$ 考虑总体损失，我们有
  $$\begin{array}{lll}\frac{\partial {\sum }_{i,j}{C}_{ij}}{\partial w_k}& =& {\sum }_{i,j}{\lambda }_{ij}(\frac{\partial s_i}{\partial w_k}-\frac{\partial s_j}{\partial w_k})\\ & =& {\sum }_{i,j}{\lambda }_{ij}\frac{\partial s_i}{\partial w_k}-{\sum }_{i,j}{\lambda }_{ij}\frac{\partial s_j}{\partial w_k}\\ & =& {\sum }_{i,j}{\lambda }_{ij}\frac{\partial s_i}{\partial w_k}-{\sum }_{j,i}{\lambda }_{ji}\frac{\partial s_i}{\partial w_k}\\ & =& {\sum }_{i,j}{\lambda }_{ij}\frac{\partial s_i}{\partial w_k}-{\sum }_{i,j}{\lambda }_{ji}\frac{\partial s_i}{\partial w_k}\\ & =& {\sum }_i({\sum }_j{\lambda }_{ij}-{\sum }_j{\lambda }_{ji})\frac{\partial s_i}{\partial w_k}\\ & =& {\sum }_i{\lambda }_i\frac{\partial s_i}{\partial w_k}\end{array}$$

这样，我们就可以写出参数$w$的更新策略
$$w_k\leftarrow w_k-\alpha \frac{\partial {\sum }_{i,j}{C}_{ij}}{\partial w_k}$$

通过指定打分函数$s=f(doc;w)$的形式，我们能通过迭代，求出最优的参数$w$。