#Paper Reading# Learning a Deep Listwise Context Model for Ranking Refinement

论文题目: Learning a Deep Listwise Context Model for Ranking Refinement
论文地址: https://dl.acm.org/citation.cfm?id=3209985
论文发表于: SIGIR 2018（CCF A类会议）

论文大体内容：
本文主要提出了一个Rerank模型——Deep Listwise Context Model(DLCM)，用于解决传统LTR模型只考虑单item的得分，而没有考虑最后TopN个item之间的相关性问题。

Motivation：
传统LTR模型对整体平均来说是效果不错的，但对于每个query并非是最优的，造成这种现象的原因在于不同的query对应的相关文档可能在特征空间具有不同的分布。其实理解到推荐系统就是：Point-wise模型只考虑单item的得分，而没有考虑最后TopN个item之间的相关性，所以需要一个Rerank的模型来解决这个问题；

Contribution：
本文作者提出使用排序后的TopN个item的信息（local ranking context），来对最终的排序结果进行调整。主要做法是通过使用GRU模型来学习TopN的item形成的local ranking context信息，然后用于rerank；

1. DLCM模型主要包括3步：
①传统LTR模型，得到精排的TopN个item；
②使用GRU从后到前的顺序学习TopN个item的关系；
③根据GRU输出进行rerank学习；

2. DLCM架构图如下；

3. 传统LTR模型使用2层网络来学习Item表示；

这里使用elu激活函数，而非Relu；
常用的几个Relu系列激活函数对比：
(1)Relu激活函数 f(x)=max(0, x)
优点：①解决梯度消失问题；②计算速度快；③收敛速度快；
缺点：①输出不是zero-centered（均值不为0）；②Dead Relu问题，某些神经元因为初始化负数，或者Learning rate过大，w=w-αdw，会使w变为负数，一旦死去，不能再复活；
(2)Leaky Relu激活函数 f(x)=max(0.01x, x)
主要解决Dead Relu的问题；
(3)elu激活函数 f(x)=x(x>0)或者α(exp(x)-1)
优点：①解决了Dead Relu的问题；②输出是zero-centered（均值偏向0），收敛速度更快；
缺点：计算量稍大；

4. GRU使用常见的方式，注意的是这里Item的Position是从低分到高分输入到GRU中的，是因为这样的顺序可以使得高分的Item对最终Sn的影响大一些；

5. 最后进行rerank学习的时候，作者用的是类似于机器翻译中的attention函数。作者也试过用三层网络，但是效果并不好；

6. 作者尝试了三种不同的Listwise Loss Function，包括ListMLE，SoftRank，Attention Rank；

实验
7. Dataset

8. Baseline
①SVMrank；
②LambdaMART；

9. Metric
①NDCG；
②ERR（Expected Reciprocal Rank）；

10. 实验结果

 

以上均为个人见解，因本人水平有限，如发现有所错漏，敬请指出，谢谢！