机器学习 支持向量机

目录

一、SVM原理

1、SVM介绍

2、SVM算法原理

1.超平面

2.最大间隔超平面

3.支持向量

4.优化问题

二、支持向量机的python实现

三、总结

---

一、SVM原理

1、SVM介绍

        支持向量机（Support Vector Machine，常简称为SVM）是一种监督式学习的方法，可广泛地应用于统计分类以及回归分析。SVM起源于上个世纪六十年代，是机器学习中用于分类的一种算法。它大致经历了以下四个阶段：线性分类器、线性支持向量机、线性不可分问题改进（引入软间隔，Soft Margin）、非线性支持向量机（核函数方法，kernal method）。其中，非线性支持向量机才是现代意义上的支持向量机，因为它引入了核函数方法，能够将非线性问题转化到高维空间（线性化），使得支持向量机能够处理非线性问题。除此之外，推导过程及原理和线性支持向量机完全一致。通俗地理解，SVM需要求解出“空间平面”，该“空间平面”可以把不同的标签项(因变量Y)类别特别明显的划分开即可。

        支持向量机的基础概念可以通过一个简单的例子来解释。让我们想象两个类别：红色和蓝色，我们的数据有两个特征：x 和 y。我们想要一个分类器，给定一对（x，y）坐标，输出仅限于红色或蓝色。支持向量机会接受这些数据点，并输出一个超平面（在二维的图中，就是一条线）以将两类分割开来。这条线就是判定边界：将红色和蓝色分割开。

        

        但是，最好的超平面是什么样的？对于 SVM 来说，它是最大化两个类别边距的那种方式，换句话说：超平面对每个类别最近的元素距离最远。

2、SVM算法原理

1.超平面

        超平面是分割输入变量空间的线。在SVM中，选择超平面以最佳地将输入变量空间中的点与它们的类（0级或1级）分开。在二维中，可以将其视为一条线，并假设我们的所有输入点都可以被这条线完全分开。SVM学习算法找到导致超平面最好地分离类的系数。超平面与最近数据点之间的距离称为边距。可以将两个类分开的最佳或最佳超平面是具有最大边距的线。只有这些点与定义超平面和分类器的构造有关。这些点称为支持向量。它们支持或定义超平面。实际上，优化算法用于找到使裕度最大化的系数的值。

2.最大间隔超平面

        支持向量机的目标是找到一个超平面，使得两个类别之间的间隔最大化。这个间隔被称为“间隔”，它是两个类别中距离超平面最近的数据点到超平面的距离之和。

        假设超平面的方程为：

        其中， w 是法向量， b 是截距， x 是输入特征。我们希望找到 w 和 b ，使得间隔最大化。

3.支持向量

        支持向量是距离超平面最近的数据点，它们决定了超平面的位置。支持向量满足以下条件：

        其中， y_i 是数据点 x_i 的类别标签，取值为1或-1。

4.优化问题

        为了找到最大间隔超平面，我们需要解决以下优化问题：

        其中，N是数据点的数量，y_i是数据点x_i的类别标签，取值为1或-1。这是一个凸二次规划问题，可以通过拉格朗日乘子法和KKT条件求解。

二、支持向量机的python实现

下面通过Python代码演示如何使用scikit-learn库实现支持向量机。

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score

# 加载鸢尾花数据集
iris = datasets.load_iris()
X = iris.data
y = iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建支持向量机分类器
svm = SVC(kernel='linear', C=1.0, random_state=42)

# 训练模型
svm.fit(X_train, y_train)

# 预测测试集
y_pred = svm.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print('Accuracy:', accuracy)

        在上述代码中，我们首先加载了鸢尾花数据集，并将其划分为训练集和测试集。接着，我们创建了一个支持向量机分类器，并使用训练集对其进行训练。最后，我们使用测试集进行预测，并计算了模型的准确率。

三、总结

        支持向量机是一种监督学习算法，广泛应用于分类和回归任务。SVM的核心思想是寻找一个超平面，使得两个类别之间的间隔最大化，从而实现良好的分类效果。SVM有分类效果好，鲁棒性较好，泛化能力强，可解释性强，同时也有对大规模训练样本难以实施，核函数选择重要，对非线性问题处理能力有限的局限性。支持向量机在图像分类、文本分类、生物信息学等领域有着广泛的应用。