SVM支持向量机原理详解及代码解析-CSDN博客

本文链接：https://blog.csdn.net/lrj41781196/article/details/147687008

1. SVM底层原理详细分析

支持向量机（SVM）是一种监督学习模型，核心思想是通过寻找一个最优超平面，最大化不同类别数据之间的间隔。以下是其底层原理的详细分析：

1.1 线性可分与超平面

- 超平面方程：在特征空间中，超平面表示为 w⋅x+b=0，其中 w 是法向量，b 是位移项。
- 间隔最大化：SVM 的目标是找到使得两类样本间隔最大的超平面。间隔定义为最近样本到超平面的距离，计算公式为 $\frac{2}{\left \| W \right \|}$ ，最大化间隔等价于最小化 $\left \| W \right \|^{^{2}}$ 。

1.2 优化问题

- 原始问题：
$$\min_{\mathbf{w}, b} \frac{1}{2} \|\mathbf{w}\|^2 \quad \text{s.t.} \quad y_i(\mathbf{w} \cdot \mathbf{x}_i + b) \geq 1, \forall i$$
- 对偶问题：通过拉格朗日乘数法转化为对偶形式，利用核技巧处理非线性问题：
$$\max_{\alpha} \sum \alpha_i - \frac{1}{2} \sum \alpha_i \alpha_j y_i y_j \mathbf{x}_i \cdot \mathbf{x}_j \quad \text{s.t.} \quad \alpha_i \geq 0, \sum \alpha_i y_i = 0$$

1.3 软间隔与核方法

- 软间隔：引入松弛变量 $\xi_i$ 处理噪声，优化目标变为：
$$\min \frac{1}{2} \|\mathbf{w}\|^2 + C \sum \xi_i \quad \text{s.t.} \quad y_i(\mathbf{w} \cdot \mathbf{x}_i + b) \geq 1 - \xi_i$$
- 核函数：通过核函数（如高斯核）将数据映射到高维空间，解决非线性可分问题。

2. 代码实现

import numpy as np

class SVM:
    def __init__(self, learning_rate=0.001, lambda_param=0.01, n_iters=1000):
        # 初始化学习率、正则化参数、迭代次数
        self.lr = learning_rate       # 控制参数更新步长
        self.lambda_param = lambda_param  # 正则化强度（越大，对误分类惩罚越强）
        self.n_iters = n_iters        # 训练轮数
        self.w = None                 # 权重向量（法向量）
        self.b = None                 # 偏置项

    def fit(self, X, y):
        n_samples, n_features = X.shape  # 样本数、特征维度

        # 标签编码：将原始标签转换为-1和1
        y_ = np.where(y <= 0, -1, 1)  # 假设原始标签为0/1或其他二元形式

        # 初始化权重和偏置为零
        self.w = np.zeros(n_features)
        self.b = 0

        # 梯度下降迭代优化
        for _ in range(self.n_iters):
            # 计算当前参数的线性输出：w·x + b
            linear_output = np.dot(X, self.w) + self.b

            # 确定不满足合页损失条件的样本（y_i(w·x_i +b) <1）
            mask = (y_ * linear_output) < 1  # 布尔掩码

            # 计算权重梯度：正则化项 + 数据项（仅误分类样本贡献）
            # 正则化项梯度：2 * lambda * w
            # 数据项梯度：-1/n * Σ(y_i x_i)（仅对不满足条件的样本）
            dw = (2 * self.lambda_param * self.w) - (np.dot(X[mask].T, y_[mask]) / n_samples)

            # 计算偏置梯度：-1/n * Σ(y_i)
            db = -np.sum(y_[mask]) / n_samples

            # 更新参数：沿负梯度方向调整
            self.w -= self.lr * dw
            self.b -= self.lr * db

    def predict(self, X):
        # 计算线性输出并取符号作为预测结果（-1或1）
        linear_output = np.dot(X, self.w) + self.b
        return np.sign(linear_output)

3. 代码解释

初始化方法 `__init__`
- `learning_rate`: 控制参数更新的步长，避免震荡或收敛过慢。
- `lambda_param`: 正则化系数，平衡分类误差和模型复杂度。
- `n_iters`: 训练迭代次数，影响模型收敛性。

训练方法 `fit`
1. **数据预处理**：将标签转换为-1和1，便于合页损失计算。
2. **参数初始化**：权重和偏置初始化为零。
3. **梯度下降循环**：
- **线性输出计算**：计算当前参数下的预测值。
- **误分类样本筛选**：通过掩码标记不满足间隔条件的样本。
- **梯度计算**：
- **权重梯度**：包含正则化项（防止过拟合）和数据项（误分类样本的修正）。
- **偏置梯度**：仅由误分类样本贡献。