Automatic Open-World Reliability Assessment

摘要

在开放世界中的图像分类必须处理OD（Overtof-distribution）图像。系统最好能拒绝OOD图像，否则它们会映射到已知类别的顶部并降低可靠性。使用能够拒绝OOD输入的开放集分类器会有帮助。然而，开放集分类器的最佳精度取决于OOD数据的频率。因此，无论是标准分类器还是开放集分类器，重要的是能够确定世界何时发生变化，增加OOD输入将导致系统可靠性降低。然而，在操作过程中，由于没有标签，我们无法直接评估准确性。因此，这些分类器的可靠性评估必须由人类操作者来完成，由于网络不是100%的准确，所以一些故障是可以预期的，这就变得更加复杂。为了使这一过程自动化，在此，我们将开放世界识别的可靠性问题形式化，并提出多种自动可靠性评估策略，以解决这一新问题，只使用报告分数/概率数据的分布。分布式算法可以应用于SoftMax的经典分类器以及开放世界的极值机（EVM），以提供自动可靠性评估。我们表明，所有的新算法都明显优于使用SoftMax平均值的检测。

1 引言

许多在线业务，特别是购物网站和社交媒体，创建了一个平台，用户可以上传一张图片，它将图片分为预定义的类，可能是开放集分类器，除了训练数据集中的已知类，还有一个分布外（OOD）类，也被称为新颖、垃圾、未知、拒绝或背景类，否则系统会忽略。OOD类可以被认为是一个 "背景 "独立类，或者是特征空间的原点[11]。将太多的图像映射到拒绝类或错误分类会降低用户的满意度。但由于操作过程中没有标签，所以没有明显的方法来检测输入分布是否发生了变化。因此，在线业务使用人力来监测图像分类质量，并在质量下降时对系统进行微调。使用人力进行监控是很昂贵的。在其他应用中，例如机器人或车辆导航，由于处理周期太快，人类无法监督，因此必须自动处理因OOD输入增加而降低的可靠性。图1显示了分数分布和为什么阈值会有问题，以及为什么检测已知和OOD混合的变化是困难的。你是否正确地猜到A、B和C是正常批次，而D、E和F分别有3%、5%和20%的OOD数据？

当我们走向操作可靠性的道路时，我们首先要为闭集分类器增加鲁棒性。我们可以通过过渡到开放集分类器，甚至过渡到逐步增加OOD样本的开放世界分类器来进一步提高可靠性[5]。虽然已经有适量的研究在研究分类器可靠性确定的各种定义（见第2节）和定义开放集和开放世界识别算法，但之前的工作没有解决当OOD输入频率有变化时的可靠性问题。在这项工作中，我们通过定义和提出在开放集/开放世界环境下自动评估分类器可靠性问题的解决方案，使操作可靠性更进一步。这种评估是必要的，以确定何时可能是微调和增量学习新类别的时间；然而，增量学习的阈值和过程的选择是特定领域的，超出了本文的范围。

极值理论（EVT）是统计学的一个分支，研究极端事件的行为，即概率分布的尾部[8, 1, 6]。EVT估计比任何已经观察到的事件更极端的事件的概率。EVT是一种从观察到的样本到未观察到的样本的推断。极值机（EVM）[26，16]使用EVT来计算一个点相对于另一个点的类的径向包含概率。因此，EVM已被成功地用于实例级OOD检测。虽然EVM是一个固有的开放集分类器，但它的应用并不广泛，因此，我们也很自然地会问，对于一个标准的封闭集分类器来说，我们是否能检测到分布的转变，从而需要进行再训练。在本文中，我们展示了基于分布的算法，包括应用于SoftMax分数或EVM分数的具有Kullback-Leibler（KL）发散的高斯模型，在检测方面是有效的。我们还为EVM开发了一种新的检测算法，该算法做了伯努利分布假设，并发现它的效果同样好。因此，所提出的可靠性算法可以用于传统的 "封闭集 "和最近的 "开放集 "分类器，用于开放世界的可靠性评估。

我们的贡献