论文学习——《Reducing Network Agnostophobia》

发表期刊：NeurIPS（CCF A）
发表时间：2018年12月23日

摘要

Agnostophobia，即对未知的恐惧，深度学习工程师在将他们的网络应用于现实应用时，能会经历这种恐惧。不幸的是，对于远离网络训练集的输入，网络行为并没有很好的定义。在不受控制的环境中，网络面临许多对它们不感兴趣的实例，为了避免误报，它们必须被拒绝。这个问题之前已经被研究人员解决了，方法是a)阈值softmax，通过构造它不能返回任何已知的类，或者b)使用一个额外的背景或垃圾类。在本文中，我们表明这两种方法都有帮助，但当遇到以前未见的类时，这两种方法通常是不够的。我们还引入了一个新的评估指标，该指标着重于在遇到此类未见类或未知情况的场景中比较多种方法的性能。我们的主要贡献是简单而有效的熵开放集和利用某些类的负样本来训练网络的Objectosphere losses。这些新的损耗被设计为最大熵的未知输入，同时增加分离在深特征空间通过修改大小已知和未知样本。对MNIST和CIFAR-10分类网络进行的实验表明，我们的新损失函数在处理来自Devanagari、NotMNIST、CIFAR-100和SVHN等数据集的未知输入方面明显更好。

解释：

• 方法a是增加一个阈值来返回已知的类，拒绝未知的类。
• 方法b是在训练中增加背景类（也叫垃圾类）让模型对于新类有更强的预测能力。