One-vs-rest network-based deep probability model for open set recognition解读

【45】Jang J, Kim C O. One-vs-rest network-based deep probability model for open set recognition[J]. arXiv preprint arXiv:2004.08067, 2020.

概述：在训练中未曾见过的未知例子经常出现在现实世界的计算机视觉任务中，一个智能的自学系统应该能够区分已知和未知的例子。解决这个问题的开放集识别，已经研究了大约十年。然而，传统的基于深度神经网络（DNNs）的开放集识别方法缺乏识别后分数分析的基础。

1. 在本文中，我们提出了一种DNN结构，在这种结构中，多个one-vs-rest sigmoid网络跟随一个卷积神经网络特征提取器。
2. 一个由隐蔽层的整流线性单元激活函数和一个单一的sigmoid目标类输出节点组成的one-vs-rest网络，可以最大限度地从非匹配的例子中学习信息。
3. 此外，该网络产生了一个复杂的非线性特征到输出的映射，在特征空间中是可以解释的。
4. 通过引入基于极值理论的校准技术，非线性和可解释的映射提供了一个有依据的类成员概率模型。
5. 我们的实验表明，与常用的SoftMax层相比，one-vs-rest网络可以为未知的例子提供更多的信息量的隐藏表示。此外，所提出的概率模型在开放集分类场景中的表现优于最先进的方法。

主要贡献：

1. 我们提出了一个结合CNN特征提取器和以下1-vs-rest sigmoid网络的模型。所提出的一vs一sigmoid网络，对隐藏层使用整流线性单元（ReLU）激活，由一个简单的前馈神经网络组成，对每个目标类产生一个sigmoid决策得分。
2. 与使用SoftMax输出层的一般CNN分类器相比，所提出的模型可以从非匹配的例子中学习更多的特征，因为由于sigmoid激活，每个one-vs-rest网络从匹配和非匹配的样本中平等地学习。
3. 此外，一vs一sigmoid网络可以通过增加非线性，从最终的隐藏特征空间提供一个复杂的类成员概率映射。此外，网络通过与正样本的距离产生一个简单的单调增长的概率函数。
4. 在这个模型特征的基础上，我们可以在特征空间中推导出一个紧凑的消减概率（CAP）模型，其中CAP是一个随着数据点从已知数据到开放空间而消减的概率。最后，通过将基于EVT的校准纳入CAP模型，我们可以使开放空间风险最小化，得到深度开放概率模型。

模型结构：

 

训练过程：（包括神经网络+极值机训练）

神经网络训练，针对每一个类使用二值交叉熵损失函数。

极值机训练：对于每一个类，使用匹配样本训练一个评估样本属于该类的概率极值分布，使用非匹配样本训练一个评估样本不属于非匹配类的概率极值分布

 

 

测试过程：计算样本属于每一个类并且不属于每类的不匹配类的概率，当取得最大概率结果的类的概率大于阈值时，接受为该类，否则为未知类。

 

数据集：MNIST (EMNIST) [34], labeled faces in the wild (LFW) [35], and Cifar-100 [36]

测试指标：F-measure

对比方法：

OpenMax，G-OpenMax，OSRCI，DOC。

实验内容

1.MNIST (EMNIST) [34]

 

 2. (LFW) [35],

3.Cifar-100 [36]

结论：

本文就是在DOC方法的基础上，加了一个极值机（讲道理，算两个）。

1. 在本文中，证明了所提出的1一vs一rest sigmoid网络有强大的能力来学习非匹配的例子。因此，所提出的模型在区分特征空间中的已知和未知样本的分布方面具有强大的能力。
2. 还表明，one-vs-rest sigmoid网络遵循DNN特征提取器时，在开放集情景下估计类成员概率存在强大的理论基础。