Open Set/World learning 笔记3：Multi-class Open Set Recognition Using Probability of Inclusion

        最近视觉识别方法的成功在很大程度上源于它们在分类任务上的表现。对于开放集问题，如果我们能够准确地为任何已知类的正数据建模而不进行过度拟合，那么即使在类知识不完整的假设下，我们也可以拒绝大量未知类。将该问题描述为在决策边界处建模正训练数据的问题，在决策边界处我们可以调用统计极值理论。Lalit P. Jain，et al提出了一种P I -SVM算法，用来估计Open set问题中类包含（class inclusion——the relation between two classes in which all members of one class are included in the other, as in the proposition “All humans are animals”）的非归一化后验概率。

         在二分类模型的单类（One Class——只有一类数据，且目标是检测其是否与原有数据相似）概率估计中，当可能存在未知类（“？”）时，两个已知类(“1”和“2”)的现有模型存在问题。如果采用单类RBF支持向量机建模，带有红色圆圈的点将成为支持向量，将浅红色区域定义为第1类。模型错误地分类了大部分第2类，但拒绝未知的类。二值RBF支持向量机将1和2分离，产生第1类的蓝色区域，蓝色方块表示正支持向量。它可以正确地分类第1类和拒绝第2类，但由于切割平面过度向右延伸它错误地分类未知类。

        而在作者提出的PI-SVM算法的目的在于计算每一种类输入的未归一化（unnormalized）的后验概率的估计值。拟合后，我们可以使用由一组参数θy定义的包含概率模型作为分类器的稳健（robust）概率估计器。当知道了先验概率ρ(y)后，可以得到关于输入x和标签y的后验概率（θy为参数）：

  在开集识别中，我们并不认为所有类别为已知，所以令下面的式子为1，且认为后验概率未归一化：

         作者在两种Open Set实验环境下验证了模型的评估：一是在目标检测的决策部分，并且每个单分类器被分别评估。 二是在multi-class open set的识别中，其中分类器的集合被一起评估。。其中的第二个环境下的实验为重点，第一个环境下的实验一是为了比较最近公开发表的PI-SVM1的集合识别模型。

        同样的，作者引用了Openess的定义：