再理解RankNet算法

原创 2015年02月09日 09:44:09

再理解RankNet算法

     

    前面的一篇博文介绍了学习排序算法(Learning to Rank)中的RankNet算法。如下:

http://blog.csdn.net/puqutogether/article/details/42124491


    那次的入门对其中的算法流程和基本原理没有深入了解,这次看自动摘要提取算法的时候,里面有一个排序单元,使用到的就是学习排序算法中的RankNet,这个时候才理解了。这就说明,有的时候回过头来看某些算法,你的认识会加深的。


   好了,这次主要说一下RankNet这个算法的基本流程和原理。


    RankNet算法是从概率的角度解决排序问题。


    首先,我们需要求得的是一个排序函数,就是当我们输入样本的特征向量的时候,可以输出该样本的顺序“得分”,实现排序。在RankNet中,排序函数定义为一个三层的神经网络模型。输入层和样本特征维数有关,输出层是一个节点(得分),排序函数定义为:


其中权值参数w和偏置参数b的上标表示节点所在的层,下标表示同一层中节点的编号;x_n_k表示特征向量x_n的第k个分量,这是是输入到输入层的。f_x_n的输出就是一个得分。


    然后,由于RankNet是一个pairwise的排序学习算法,把样本两两组成一个pair,对于一个pair,有两个概率需要定义,一个是预测概率:


其物理意义就是第i个样本排在第j个样本前面的概率,其中的s_i和s_ j的都是前面排序函数的输出得分。

还有一个概率是真实概率,定义如下:

其中For a given query, let S_i_ j∈ {0, ±1} be defined to be 1 if document i has been labeled to be more relevant than document j, −1 if document i has been labeled to be less relevant than document j, and 0 if they have the same label. 

    然后,基于交叉熵函数建立RankNet算法的损失函数,并用梯度下降法解决。如下:


上式我们可以化简,如下:


(好吧,天气寒冷,手抖……)

也就是下面这个式子:


    最后,我们让损失函数C对排序函数中的w求导,可以得到:


=》


=》



代入可得损失函数C关于w的偏导了,这样就可以使用梯度下降法了。


最终求得排序函数f_x_n。

    

     可以看书,RankNet算法在学习过程中,用到了一对样本之间的关系,主要在预测概率部分,所以它是一个pairwise的方法。




参考:

http://blog.csdn.net/puqutogether/article/details/42124491

From RankNet to LambdaRank to LambdaMART: An Overview        Christopher J.C. Burges

http://blog.csdn.net/huagong_adu/article/details/40710305












RankNet与LambdaRank

在使用搜索引擎的过程中,对于某一Query(或关键字),搜索引擎会找出许多与Query相关的URL,然后根据每个URL的特征向量对该URL与主题的相关性进行打分并决定最终URL的排序,其流程如下:排序...
  • u014374284
  • u014374284
  • 2015年10月25日 16:58
  • 4151

RankNet学习思路

整理了一下学习ranknet需要知道的几点: 1、ranknet是从概率角度,利用pairwise解决排序问题; 2、最终我们学习的是一个为搜索结果打分的函数(Scoring Function),这个...
  • w28971023
  • w28971023
  • 2015年05月19日 21:21
  • 5403

学习排序Learning to Rank之RankNet

今天给大家介绍一个Learning to Rank系列算法中的一个:RankNet。Learning to Rank最常用的地方就是搜索引擎,它能从用户的搜索、点击数据中学习出搜索结果的排序函数,以改...
  • OrthocenterChocolate
  • OrthocenterChocolate
  • 2015年01月27日 22:13
  • 2608

机器学习排序之Learning to Rank简单介绍

 机器学习排序之Learning to Rank简单介绍 标签: Learning to Rank学习排序PointwisePairwiseListwise 2015-01-0...
  • starzhou
  • starzhou
  • 2016年05月17日 17:55
  • 3490

再理解RankNet算法

再理解RankNet算法 前面的一篇博文介绍了学习排序算法(Learning to Rank)中的RankNet算法。如下:http://blog.csdn.net/puqutogether/arti...
  • starzhou
  • starzhou
  • 2016年06月01日 17:55
  • 589

RankLib源码分析(二):RankNet

参考文档: From RankNet to LambdaRank to LambdaMART: An Overview(简写文章DocF) Learning to Rank using Gradien...
  • guoguo881218
  • guoguo881218
  • 2014年12月30日 11:15
  • 1925

机器学习排序之Learning to Rank简单介绍

最近需要完成课程作业——分布式排序学习系统.它是在M/R、Storm或Spark架构上搭建分布式系统,并使用学习排序Pointwise、Pairwise和Listwise三大类算法实现对微软数据集(M...
  • Eastmount
  • Eastmount
  • 2015年01月03日 21:50
  • 21924

对级排序学习pairwise learning 偏好关系学习(RankBost)

转载自:Pairwise Leanrning - wentingtu - 博客园 Pairwise Leanrning   *******************************...
  • Chloezhao
  • Chloezhao
  • 2016年12月21日 14:55
  • 1865

【学习排序】 Learning to Rank 中Listwise关于ListNet算法讲解及实现

前一篇文章"Learning to Rank中Pointwise关于PRank算法源码实现"讲述了基于点的学习排序PRank算法的实现.该篇文章主要讲述Listwise Approach和基于神经网络...
  • Eastmount
  • Eastmount
  • 2015年02月05日 22:19
  • 10217

Learning To Rank之LambdaMART的前世今生

LambdaMART是Learning To Rank的其中一个算法,适用于许多排序场景。它是微软Chris Burges大神的成果,最近几年非常火,屡次现身于各种机器学习大赛中,Yahoo! Lea...
  • huagong_adu
  • huagong_adu
  • 2014年11月02日 17:57
  • 34919
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:再理解RankNet算法
举报原因:
原因补充:

(最多只允许输入30个字)