Fuzzy SVM with a new fuzzy membership function--文献翻译

MT_Joy

于 2022-01-11 17:41:40 发布

阅读量572

点赞数 2

文章标签：支持向量机算法机器学习

本文链接：https://blog.csdn.net/qq_42014059/article/details/122434405

版权

期刊：Neural Computing and Applications（2006）

摘要：

众所周知，通过适当的模糊隶属函数，模糊支持向量机在解决分类问题时可以有效地减少异常值的影响。本文针对非线性模糊支持向量机提出了一种新的模糊隶属函数。模糊隶属度在特征空间中计算并由内核表示。该方法在减少异常值的影响方面表现良好，显着提高了分类精度和泛化能力。

介绍

基于结构风险最小化 (SRM) Ref. [1]，Cortes 和 Vapnik 开发了支持向量机 (SVM) 参考理论。 [2]。支持向量机学习算法因其在模式识别和函数回归方面的性能优于传统工具而备受关注。 SVM 算法背后的主要思想是将样本从不同的类别中分离出来，其表面使类别之间的边距最大化。如果类是线性可分的，则曲面是输入空间中的超平面，否则曲面是特征空间中的超平面但输入空间中的超曲面。由于这种方法是结构风险最小化而不是经验最小化的近似实现，因此可以实现高度泛化。 B.E.. 使用 SVM 进行分类被表述为二次规划 (QP) 问题，可以通过使用许多有据可查的优化算法 [1-3] 有效地解决该问题。

在使用传统的支持向量机解决二类分类问题时，每个训练点都被平等对待并分配给一个且只有一个类。然而，在许多实际问题中，存在一些训练点被噪声破坏的情况。此外，训练数据中的某些点意外地放错了位置。这些点都是异常值；因此不完全属于一个类，而是在两个类中具有不同的成员资格。在这种情况下，经典的 SVM 训练算法会使决策边界严重偏离最优超平面，因为 SVM 对异常值非常敏感[4-6]。为了解决这个问题，已经管理了几种技术。在参考文献中。 [7]，提出了一种中心 SVM 方法来使用类中心来构建 SVM。在参考文献中。 [8]，基于对每个训练模式的自适应边距的利用，开发了自适应边距 SVM。在参考文献中。 [12]，将原始输入空间映射到归一化特征空间以增加对噪声的稳定性。在参考文献中。 [4] 提出了一种鲁棒的支持向量机，旨在解决过拟合问题。模糊支持向量机（FSVM）[5]是解决这个问题的另一种方法。它是在 SVM 理论的基础上发展起来的。在 FSVM 中，每个样本都有一个模糊隶属度，它表示对应点对一个类别的态度。成员资格表示样本对决策面的重要性。模糊隶属度越大，对应点的处理越重要；因此,不同的输入点可以对决策面的学习做出不同的贡献。

FSVM 最重要的事情之一是为给定问题选择合适的模糊成员。在本文中，我们提出了一种新的非线性支持向量机的模糊隶属函数。我们计算特征空间中的模糊隶属度并用内核表示。我们将证明该方法在减少异常值的影响方面具有良好的性能，并显着提高了分类精度和泛化能力。

SVM 和 FSVM 可用于解决二类问题和多类问题。本文提到的分类问题仅限于二分类问题；然而，本文提出的方法也可以应用于多类问题。

本文组织如下：在Sect. 2、简要回顾了SVM和FSVM的理论。 FSVM 的新模糊隶属函数的细节在第 1 节讨论. 3. 在教派中。 4、通过一些实验结果来说明算法的优势。最后，在 Sect 中得出结论 5。

2.SVM 和模糊 FSVM

在本节中，我们将简要回顾 SVM 和 FSVM 在分类问题中的理论。

2.1 SVM

假设我们有一组训练样本 {(X1, y1), (X2, y2)...(XN, yN)}。每个 Xi 都有一个类标签 yi2{?1,1}，分别表示两个类。当样本是线性可分时，SVM 可以在两个类别之间以最大的间隔将它们分开，而不会出现任何错误的分离点。这可以通过求解以下二次程序来实现：

其中 w 是权重向量，b 是偏置项。对于非线性可分的情况，不可能满足（1）中的所有约束。因此，引入松弛变量 ni, i $\epsilon$ {1, 2, ..., N} 来衡量违反约束的数量。 QP 问题变为：

其中 C 是一个必须事先确定的参数，以定义违反约束的成本，较大的 C 意味着对经验错误分配的惩罚更高。然而，在实践中，大部分问题都无法通过这样的线性分类器来解决；因此，非线性扩展是必要的。这可以通过将输入变量 Xi 映射到更高维的特征空间，并通过在该空间中使用线性分类来实现。引入了映射函数 U(X)，它必须满足 Mercer 条件 [9, 10]。特征空间中的向量 U(Xi) 对应于原始空间中的向量 Xi。要解决 QP 问题，需要计算 U(Xi) Æ U(Xj) 形式的标量积，而不必知道 U(Xi) 的形状。因此引入核函数 K(Xi, Xj) = U(Xi) Æ U(Xj) 很方便。通过使用拉格朗日乘子法和核法，可以构造如下 QP 问题：

一些常用的核函数是多项式、sigmoid 和高斯函数。

2.2 Fuzzy SVM

在经典SVM理论的基础上，林在Ref.Chun中提出了模糊支持向量机理论。在经典 SVM 中，每个样本都被平等对待；即，每个输入点都完全分配给两个类别之一。然而，在许多应用中，一些输入点，例如异常值，可能没有被准确地分配给这两个类中的一个，并且每个点对决策面没有相同的意义。为了解决这个问题，可以对SVM的每个输入点引入模糊隶属度，使得不同的输入点对决策面Ref.Chun的构建做出不同的贡献。假设训练样本是

其中每个 Xi 2RN 是一个训练样本， yi 2{?1, +1} 表示其类标签，si (i=1,2,...,N) 是一个模糊隶属度，它满足 r £ si £ 1 和足够小的常数 r>0。将集合表示为 Q={Xi | (xi, yi, si)2S};显然，它包含两个类。一个类包含这样的样本点Xi，yi=1，用C+表示这个类，那么

另一类包含这样的样本点 Xi，其中 yi=?1;用 C? 表示这个类，然后

那么，分类的二次问题可以描述如下：

其中 C 是一个常数。由于模糊隶属度 $s_{i}$ 是对应点 $X_{i}$ 对某一类的态度，参数 $\pounds _{i}$ 是 SVM 中的误差度量，所以 $s_{i}$ $\pounds _{i}$ 可以看作是具有不同权重的误差度量。需要注意的是，较小的 $s_{i}$ 可以减少问题 (5) 中参数 $\pounds _{i}$ 的影响，因此对应点 $X_{i}$ 可以被视为不太重要。求解问题 (5) 与经典 SVM 相同，只是略有不同 Ref.Chun。一般来说，二次规划可以通过它们的对偶问题来解决 [11]。

为给定问题选择合适的模糊隶属度对于 FSVM 非常重要。在参考文献中。 Chun，用于减少异常值影响的模糊隶属函数是每个数据点与其对应的类中心之间的距离的函数，该函数用输入空间的参数表示。给定训练点的序列（4 )，表示 $C^{+}$ 类和 $C^{-}$ 类的平均值分别为 $X_{+}$ 和 $X_{-}$ 。 $C^{+}$ 类的半径为: