On the Calibration and Uncertainty of Neural Learning to Rank Models 论文笔记

摘要：根据概率排名原则（PRP），按照文档的相关概率递减的顺序对文档进行排名，可以为临时检索提供最佳的文档排序。当满足两个条件时，PRP成立：[C1]模型已经很好地校准，并且[C2]报告了有把握的相关概率。但是，我们知道，深度神经网络（DNN）通常没有得到很好的校准，并且具有多种不确定性来源，因此神经排序器可能无法满足[C1]和[C2]。鉴于L2R方法的成功-尤其是基于BERT的方法-我们首先分析确定性的情况，即输出点估计，神经排序器被校准。然后，根据我们的发现，我们使用两种技术来建模神经排序器的不确定性，从而导致所提出的随机排名可以输出预测性的相关性分布而不是点估计。我们对会话响应排序的临时检索任务的实验结果表明：（i）基于BERT的排序器未得到稳健的校准，基于BERT的随机排序器产生了更好的校准；（ii）不确定性估计对于风险感知的神经排序器（即在对文档进行排名时将不确定性考虑在内）和预测无法回答的会话上下文都非常有利。

背景：
PRP成立需要满足两个条件：[C1]模型已经很好地校准，并且[C2]报告了有把握的相关概率。对于条件[C1]，已经有两篇参考文献证明，DNNs和 transformer-based模型均不满足；对于条件[C2]，存在参数不确定性、结构不确定性以及偶然不确定性因素。尽管考虑到这三个不确定风险的风险感知模型已被证明有效，但属于非神经IR方法，还未被探索为神经L2R模型。

通过对基于BERT的排序器的不确定性进行建模，作者提出了随机神经排序模型，如下图，确定性神经排序器输出与查询（蓝色条)和文档(灰色条)组合相关的点估计概率(粉红值)，随机神经排序器输出预测分布(橙色曲线）。 预测分布的分散性提供了模型不确定性的估计。