SIGIR2019|深度学习如何更好地用于学习排序(LTR)(已开源)

Revisiting Approximate Metric Optimization in the Age of Deep Neural Networks

Sebastian Bruch, Masrour Zoghi, Michael Bendersky, Marc Najork

Google Research

https://storage.googleapis.com/pub-tools-public-publication-data/pdf/203cdfb3cad97d962b742ac8d6d61d16ae6008c9.pdf

通过学习进行排序是有监督机器学习的一个分支，这种方法能够生成商品的排列，使得该有序列表的效用最大化。

跟大部分机器学习方法有所不同，目标函数不能直接利用梯度下降方法来优化，因为它要么处处不连续，要么处处水平。因此，通过学习进行排序的方法通常优化损失函数使其以一个排序效用为上界或者相对比较松弛。

一个显著的特例即为Qin等人提出的近似框架，利用一种更加直接的方法对度量优化进行排序。这篇文章重温该框架，这得益于近十年来神经网络的发展，本文通过实验表明了该方法的卓越性。

通过这项研究，希望来源于该想法的工作比之前更相关，并且在深度神经网络时代为通过学习进行排序奠定基础。

学习排序问题描述及相关的评价指标如下

由于梯度相关的缺陷，作者们提出了若干改进算法

LTR问题描述如下

评分函数  经验损失形式如下

相关方法如下

NDCG 以及 DCG 定义及特性如下

也可以利用一些方法直接最大化排序度量，或者利用一些技巧之后进而可以利用梯度下降来更容易地优化