Best Fitting Hyperplanes for Classification(用于分类的最佳拟合超平面)

0.摘要

-在本文中，我们提出了比经典的大边际分类器更适合开放集识别和物体检测任务的新型方法。所提出的方法使用了最佳拟合超平面方法，其主要思想是找到最佳拟合超平面，使每个超平面接近其中一个类别的样本，并尽可能远离其他类别的样本。为此，我们提出了两个不同的分类器。第一个分类器解决了一个凸的二次优化问题，但负的样本可以位于最佳拟合超平面的一侧。而第二个分类器通过使用凹凸程序，允许负样本位于拟合超平面的两边。这两种方法都是通过使用内核技巧扩展到非线性情况。与文献中现有的超平面拟合分类器相比，我们提出的方法适用于大规模问题，并且它们返回稀疏的解决方案。在几个数据库上的实验表明，所提出的方法通常优于其他超平面拟合分类器，在经典的识别任务中，它们与SVM分类器一样好。然而，所提出的方法在开放集识别和物体检测任务中的表现明显优于SVM。

解读：提出两个分类器

1.引言

大边际分类器已经成功地应用于许多领域，包括计算机视觉、文本分析、生物统计学和生物信息学。这种类型的原型方法，支持向量机（SVM）[1]在特征空间中找到一个线性超平面，使 "边际 "最大化--超平面与每个类别的最接近的训练样本之间的欧氏距离。由此产生的优化任务需要在线性不等式约束下最小化一个凸二次函数，这个问题可以通过各种方法有效解决[2, 3, 4, 5]。该解决方案是稀疏的，因为一旦找到最接近的点（所谓的支持向量），它就只取决于它们。由于SVM分类器试图确保尽可能大的误差幅度，因此所产生的分类器具有非常好的实际性能。然而，SVM并不完美。粗略地说，它们被设计的环境是，类可以被建模为特征空间中不重叠的凸云，因此可以用仿生超平面来分离。用凸壳来逼近每个类别可能会有问题，因为它可能会严重低估相关类别的真实范围。因此，新的最大边际分类器，即用其他凸类模型来近似类，已经被引入。

1. [6]中研究了最大边际仿形壳的情况。这种方法是最小二乘法[7]和近似法[8]SVM的一个特例，其中两个类的不相交的仿生壳位于生成的两个平行超平面上，这样每个 Minimax概率机[9]及其变体[10]是另一种大余量分类器，使用超椭圆来近似类。
2. 最近，我们提出了一种新的大边际分类器[11]，用超椭圆体来近似类。
3. Mangasarian和Wild[12]提出了广义的特征值近似支持向量机（GEPSVM）分类器。GEPSVM通过解决两个广义特征值问题找到两个不平行的超平面（与近似支持向量机和基于affine hull的大余量分类器返回的平行超平面相反），使每个超平面最适合于相应的类样本，同时，它尽可能地远离其他类样本。一旦找到最佳拟合的超平面，新的样本就会根据与返回的超平面的最小距离进行分类。
4. 通过使用类似的想法，[13]提出了双支持向量机（TSVM）分类器。这个分类器的目的也是寻找两个不平行的超平面，使每个超平面更接近两个类别中的一个样本，并尽可能远离另一个类别的样本。然而，TSVM解决的是一对二次规划（QP）问题，而不是一个广义的特征值问题。据报道，TSVM的总训练时间比SVM分类器的训练时间要短，因为TSVM解决的是一对尺寸较小的QP问题，而不是像SVM那样的大QP问题。
5. Shao等人[14]通过引入超平面参数的正则化项进一步改进了TSVM分类器。
6. Kumar和Gopal提出了TSVM的最小二乘法版本[15]和平滑TSVM[16]。TSVM的一些其他扩展也可以在[17, 18]中找到。

尽管基于最佳拟合超平面的分类器已经被提出来作为二元SVM分类器的替代品，这些方法在被称为 "开放集识别 "的识别问题上有更好的应用前景[19]。在经典的分类问题中，假设所有的测试类在训练时是已知的。然而，在更现实的应用中，样本可能来自测试时间的未知类别。基于边际的分类器，如SVM或基于affine hull的分类器，寻求最大化已知类别样本和决策边界之间的距离。远离已知数据的区域（在[19]中称为开放空间）也被分配给已知的类，尽管我们没有一个很好的基础来分配标签给这些区域。因此，当有来自未知类别的样本时，这些分类器在测试过程中可能大部分会失败。这在图1中得到了说明。另一方面，正如我们在本研究中所显示的，使用最佳拟合超平面的分类器更适合于这些类型的应用。它们也比大边际分类器更适合于视觉物体检测任务，在这些任务中，物体类样本的数量有限，而有数以百万计的负面样本来自于成千上万的不同类别[20, 21]。与大边际分类器相比，使用最佳拟合超平面模型的分类器具有更广泛的应用范围。然而，目前文献中的方法并不完美。更确切地说，超平面拟合分类器、GEPSVM和TSVM有两个主要的限制。

1. 作为第一个限制，这些分类器不适合大规模的分类问题（这种非线性核也不是很建议）。核GEPSVM需要对(n+1)×(n+1)矩阵进行特征分解，其中n是训练集中所有样本的数量。同样，内核TSVM需要对（n+1）×（n+1）矩阵进行逆运算。据报道，对于小规模的分类问题，GEPSVM和TSVM的训练时间比SVM分类器的训练时间要短。然而，对于大规模的问题，很难（大多数情况下，不可能）将这些大矩阵装入内存并对其进行操作。
2. 第二个限制是与解决方案的稀疏性有关。与SVM分类器相比，GEPSVM或TSVM返回的解决方案不是稀疏的，也就是说，所有的训练样本都成为支持向量。因此，与SVM的测试时间相比，这些分类器的测试时间要慢得多。

在本文中，我们介绍了使用最佳拟合超平面方法的新型分类器。我们的方法没有GEPSVM和TSVMs的局限性。特别是，所提出的方法适用于大规模的分类问题，而且它们总是返回稀疏的解决方案。正如实验所证明的那样，它们也更适合于开放集识别和视觉对象检测问题。本文的其余部分组织如下。在第2节，我们给出了相关的方法并讨论了它们的局限性。第3节介绍了所提出的方法。第4节介绍了我们的实验结果，第5节是本文的结论。

解读：介绍现有的方案及其两个缺陷：训练不适合大规模分类问题，测试时间长。

2.相关工作

在此，我们简要介绍两种相关的最佳拟合超平面分类方法，并讨论其局限性。（学习了才知道，原来又没那么多的SVM，感觉超平面都被玩坏了啊）

2.1 广义特征值近似支持向量机（GEPSVM）分类器

这种方法寻找两个不平行的超平面，使每个超平面靠近两个类中的一个，并尽可能远离其他类的样本。让属于正（+1）和负（-1）类的数据样本分别用矩阵A∈IRn+×d和B∈IRn-×d表示。这里，n+（n-）表示正（负）样本的数量，d是输入空间的维度。GEPSVM分类器[12]在IRd中返回两个超平面 w> +x + b+ = 0, w> -x + b- = 0，其中第一个超平面最接近正类的样本，离负类的样本最远，而第二个超平面最接近负类的样本，离正类的样本最远。为了计算第一个超平面，其特征为（w+，b+），该方法将正类的每个样本与超平面之间的L2（欧几里得）距离的平方之和除以负类的每个样本与超平面之间的L2距离的平方。这导致了以下优化问题 arg min w+,b+,kw+k=1 kAw+ + e+b+k 2 + δ(kw+k 2 + b 2 +) kBw+ + e-b+k 2 , (1) 其中δ是用户设定的正则化常数，e+(e)是正(负)类适当尺寸的1列向量。设G = [A e+] >[A e+] + δI，H = [B e-] >[B e-] ，z = w+ b+ 。在这种情况下，优化问题（1）可以重新表述为arg min z z >G z z >H z。（2）这个问题的解决可以简化为找到广义特征值问题的最小特征值所对应的特征向量，G z = λ H z，并重新规范化，找到（w+, b+）。为了找到第二个超平面（w-，b-），优化问题（1）中A和B的角色要互换，并重复所有步骤。一旦找到超平面，测试样本就会根据与返回的超平面的最小距离进行分类。核化程序的细节可以在[12]中找到。在非线性情况下，该方法需要对（n + 1）×（n + 1）矩阵进行eigendecomposition，其中n = n+ + n-是样本的总数。因此，该方法不适合大规模问题。该方法也不能返回稀疏的解决方案，而且在测试一个测试例子时，需要对训练集的所有样本进行内核评估。这降低了该方法的实时效率。最后ÿ