题目:Towards More Reliable Confidence Estimation
迈向更可靠的置信度估计
作者:Haoxuan Qu; Lin Geng Foo; Yanchao Li; Jun Liu
摘要
近年来,由于其对深度模型安全部署的重要性,信心估计作为一项旨在评估模型在部署期间预测输出的可信度的任务,已经受到了大量的研究关注。以往的研究工作已经概述了一个可靠的信心估计模型应该具备的两个重要特征,即在标签不平衡下表现良好以及能够处理各种分布外数据输入的能力。在这项工作中,我们提出了一个元学习框架,可以同时改善信心估计模型在这两个特征上的表现。具体来说,我们首先构建了一些虚拟的训练和测试集,它们之间有一些故意设计的分布差异。然后,我们的框架使用这些构建的集合通过虚拟训练和测试方案来训练信心估计模型,使其学习到能够泛化到不同分布的知识。此外,我们还将我们的框架与一个修改后的元优化规则结合起来,该规则使信心估计器收敛于平坦的元极小值。我们通过在各种任务上的广泛实验,包括单目深度估计、图像分类和语义分割,展示了我们框架的有效性。
关键词
- 信心估计 Confide