第八天：机器学习：支持向量机SVM

支持向量机 (SVM) 详解

支持向量机（Support Vector Machine, SVM）是一种常用的监督学习模型，主要用于分类和回归任务。SVM 的核心思想是找到一个最优的超平面来分隔不同类别的数据点。本文将详细介绍 SVM 的基本原理、数学公式、代码实现以及如何通过代码绘制原理图。

1. SVM 基本原理

SVM 的目标是找到一个能够最大化类别间隔的超平面，从而使得分类准确率达到最优。假设我们有一个二分类问题，数据点 $(x_i,y_i)$，其中 $x_i$ 是特征向量，$y_i$ 是类别标签（ y i ∈ { − 1 , 1 } y_i \in \{-1, 1\} yi​∈{−1,1}）。SVM 的目标是找到一个超平面 $w^{T}x+b=0$，使得类别之间的间隔最大。

1.1 超平面与分类

在二维空间中，超平面实际上是一个直线。对于 SVM 来说，分类的目标是找到一个直线，使得不同类别的样本点被分隔开，并且尽量使得距离直线最近的点距离最大。这个距离称为间隔（margin），我们希望最大化这个间隔。

1.2 最大化间隔

给定超平面 $w^{T}x+b=0$，其中 $w$ 是权重向量，$b$ 是偏置项。为了最大化间隔，我们需要确保：

• 对于正类样本（$y_i=1$），$w^T{x}_i+b\ge 1$。
• 对于负类样本（$y_i=-1$），$w^T{x}_i+b\le -1$。

这样，间隔可以被计算为：

$$\text{间隔}=\frac{2}{\Vert w\Vert }$$

因此，最大化间隔等价于最小化 $\Vert w\Vert$ 的平方：

$$\min \frac{1}{2}\Vert w{\Vert }^2$$

同时需要满足分类约束：

$$y_i(w^T{x}_i+b)\ge 1$$

1.3 软间隔与硬间隔

在实际应用中，数据可能不是线性可分的，因此我们引入了软间隔（soft margin）。通过引入松弛变量 ${\xi }_i$ 和惩罚参数 $C$，我们可以在一定程度上允许分类错误，从而优化分类结果。目标函数变为：

$$\min \frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n{\xi }_i$$

同时需要满足：

$$y_i(w^T{x}_i+b)\ge 1-{\xi }_i$$

2. 数学公式与优化问题

SVM 的优化问题可以通过拉格朗日对偶方法来求解。构造拉格朗日函数：

$$\mathcal{L}(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^n{\alpha }_i[y_i(w^T{x}_i+b)-1]$$

其中，${\alpha }_i$ 是拉格朗日乘子。优化目标是最大化对偶函数：

$$\underset{\alpha }{\max }\left[\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i^T{x}_j)\right]$$

约束条件为：

$${\alpha }_i\ge 0$$
$$\sum _{i=1}^n{\alpha }_i{y}_i=0$$

3. Python 实现与示例

我们使用 scikit-learn 库来实现 SVM。以下是一个简单的例子：

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.svm import SVC
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline

# 生成示例数据
np.random.seed(0)
X, y = datasets.make_blobs(n_samples=50, centers=2, cluster_std=0.60, random_state=0)

# 标准化数据
scaler = StandardScaler()
X = scaler.fit_transform(X)

# 训练 SVM 模型
model = SVC(kernel='linear', C=1.0)
model.fit(X, y)

# 绘制决策边界
def plot_decision_boundary(model, X, y):
    h = .02  # 网格点的步长
    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
    
    Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    
    plt.contourf(xx, yy, Z, alpha=0.8)
    plt.scatter(X[:, 0], X[:, 1], c=y, edgecolor='k', marker='o')
    plt.xlabel('Feature 1')
    plt.ylabel('Feature 2')
    plt.title('SVM Decision Boundary')
    plt.show()

plot_decision_boundary(model, X, y)

上述代码生成了一个简单的二维数据集，并使用线性 SVM 对数据进行分类。plot_decision_boundary 函数用于绘制决策边界。

4. 原理图

我们可以通过代码绘制 SVM 的原理图，帮助理解超平面及其间隔：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.svm import SVC
from sklearn.datasets import make_classification

# 生成数据
X, y = make_classification(n_samples=100, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1)

# 训练 SVM 模型
clf = SVC(kernel='linear', C=1.0)
clf.fit(X, y)

# 绘制决策边界
def plot_svm_decision_boundary(clf, X, y):
    plt.figure(figsize=(10, 6))
    plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')

    # 绘制超平面
    ax = plt.gca()
    xlim = ax.get_xlim()
    ylim = ax.get_ylim()

    xx = np.linspace(xlim[0], xlim[1], 100)
    yy = np.linspace(ylim[0], ylim[1], 100)
    XX, YY = np.meshgrid(xx, yy)
    Z = clf.decision_function(np.c_[XX.ravel(), YY.ravel()])
    Z = Z.reshape(XX.shape)

    ax.contour(XX, YY, Z, colors='k', levels=[-1, 0, 1], alpha=0.5, linestyles=['--', '-', '--'])
    plt.title('SVM Decision Boundary')
    plt.xlabel('Feature 1')
    plt.ylabel('Feature 2')
    plt.show()

plot_svm_decision_boundary(clf, X, y)

上面的代码会生成 SVM 的决策边界图，其中包含分类超平面和支持向量。决策边界帮助我们理解模型如何在特征空间中划分不同的类别。

总结

支持向量机是一种强大的分类算法，通过最大化间隔来提高分类性能。SVM 的理论基础包括超平面、间隔最大化和软间隔等概念。通过实际的 Python 代码实现，我们可以可视化 SVM 的决策边界，帮助理解其工作原理。

希望本文对你理解 SVM 有所帮助。如果有任何问题或需要进一步的讨论，请随时联系我！