机器学习实验6——支持向量机

I_3238

已于 2024-06-10 22:43:27 修改

阅读量1k

点赞数 26

文章标签：机器学习支持向量机人工智能

于 2024-06-10 22:43:09 首次发布

本文链接：https://blog.csdn.net/I_3238/article/details/139582029

版权

3.将两组数据堆叠在一起，形成一个特征矩阵 x

4.生成标签 y

5.绘制数据的散点图：

6.定义了拉格朗日函数的函数。这个函数用于 SVM 的优化。

7.梯度下降算法来优化 SVM 模型的参数 w 和 b。

8.初始化了 w 和 b，然后通过梯度下降算法来更新它们。

9.预测数据的类别，根据 w 和 b 计算预测值，并使用符号函数将连续的预测值转换为类别标签。

6-3-2实验总结svm支持向量机算法的优缺点

优点：

缺点：

6-1支持向量机概述

支持向量机（Support Vector Machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，，通俗的来说就是找到一个距离两类数据最远的一个边界，最终转化为一个凸二次规划问题来求解。

间隔最大化，就是所有样本点中，离我们分类界限超平面最近的样本点，尽可能的远离超平面。这种思想在于，不关心远离超平面的样本点，即分类很明确的样本，不作考虑，更关心离超平面近的样本点。这些离超平面较近的点对超平面的位置有着至关重要的影响，抓住这个主要矛盾来分析问题。从个体与整体的角度来看，当两边的离超平面较近的样本点都里超平面足够远时，那么其余的样本点也离超平面足够远。这时，满足间隔最大化的超平面，泛化能力最好。

6-1-1支持向量机实验原理

1.决策边界

$\omega x+b=0$ ，分离超平面。如果数据是线性可分的，这样的超平面有无穷多个，但是间隔最大的分离超平面是唯一的。

所以当 $\omega x+b\geqslant 0$ 时为正类别，反之为负类别

2.支持向量

到决策边界的距离最小的点。SVM核心就是优化决策超平面参数，使支持向量到超平面的距离最大。

如下图中虚线上的向量

3.几何距离

函数间隔并不能正常反应点到超平面的距离，当分子成比例的增长时，分母也是成倍增长。为了统一度量，我们需要对法向量 $\omega$ 加上约束条件，这样我们就得到了几何距离 $\gamma$ ，这个几何间隔在二维空间的理解，就是点到线的距离，几何距离定义为：

$\gamma = \frac{y(\omega ^{T}x+b)}{ \left | \left | \omega \right | \right |_{2}}$

其中

$\left | \left | \omega \right | \right |_{2}=\sqrt{\omega _{1}^{2}+\omega _{2}^{2}+...+\omega _{n}^{2}}$

4.优化目标

$max\frac{2}{\left | \left | \omega \right | \right |}\Rightarrow min{\left | \left | \omega \right | \right |}$

5.约束条件

$y_{i}\omega x+b\geqslant 1$

通过拉格朗日乘子法化为

$L=\frac{1}{2}\left | \left | \omega \right | \right |^{2}+\sum_{i=1}^{m}\alpha _{i}(1-y_{i}(\omega ^{T}x_{i}+b))$

6.软间隔

实际上，很少有数据集可以完美的符合线性可分的条件，所以要引入软间隔。

引入软间隔后，约束条件从 $y_{i}\omega x+b\geqslant 1$ 变为 $y_{i}\omega x+b\geqslant 1-\xi _{i}$ 其中 $\xi_i$ 叫做松弛变量。有了松弛变量后，就允许了一些向量可以被错误的分类。

得到软间隔最大化SVM优化函数：

6-2实验代码实现

6-2-1代码步骤

1.设置和数据生成

import numpy as np
import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.metrics import accuracy_score
np.random.seed(12)
num_observations = 50

2.生成两组服从多变量正态分布的随机数据

x1 = np.random.multivariate_normal([0, 0], [[1, 0.75], [0.75, 1]], num_observations)
x2 = np.random.multivariate_normal([1, 4], [[1.75, 0.75], [0.75, 1]], num_observations)

3.将两组数据堆叠在一起，形成一个特征矩阵 `x`

x = np.vstack((x1, x2)).astype(np.float32)

`4.`生成标签 `y`

y = np.hstack((np.zeros(num_observations), np.ones(num_observations)))
y = np.where(y <= 0, -1, 1)

`5.`绘制数据的散点图：

plt.figure(figsize=(12, 8))
plt.scatter(x[:, 0], x[:, 1], c=y, alpha=0.4)

6.定义了拉格朗日函数的函数。这个函数用于 SVM 的优化。

def Lagrangian(w, alpha, X, y):
    first_part = np.sum(alpha)
    second_part = np.sum(alpha * alpha * y * y * np.dot(X.T, X))
    res = first_part - 0.5 * second_part
    return res

7.梯度下降算法来优化 SVM 模型的参数 `w` 和 `b`。

def gradient_descent(w, b, X, y, lr):
    for i in range(2000):
        for idx, xi in enumerate(X):
            y_i = y[idx]
            cond = y_i * (np.dot(xi, w) - b) >= 1
            if cond:
                w -= lr * 2 * w
            else:
                w -= lr * (2 * w - np.dot(xi, y_i))
                b -= lr * y_i
    return w, b

8.初始化了 `w` 和 `b`，然后通过梯度下降算法来更新它们。

w, b, lr = np.random.random(x.shape[1]), 0, 0.0001
w, b = gradient_descent(w, b, x, y, lr)

9.预测数据的类别，根据 `w` 和 `b` 计算预测值，并使用符号函数将连续的预测值转换为类别标签。

def predict(X, w, b):
    pred = np.dot(X, w) - b
    return np.sign(pred)