机器学习——支持向量机（Support Vector Machine）

学习啊ZzZ

已于 2023-10-11 15:42:22 修改

阅读量993

点赞数 3

分类专栏：机器学习文章标签：机器学习支持向量机人工智能

于 2023-10-11 15:38:00 首次发布

本文链接：https://blog.csdn.net/weixin_58427214/article/details/133767970

版权

机器学习专栏收录该内容

9 篇文章 0 订阅

订阅专栏

一、支持向量机

1、支持向量机

支持向量机属于有监督学习算法，可以用于解决分类、回归和异常值检测问题。

本文主要讨论支持向量机解决分类问题。

2、核心思想——最大化决策边界边缘

通常存在多个决策边界（超平面）可以对数据进行划分，选择最大边缘（margin）的决策边界！根据统计学习理论，具有更大的边缘的决策边界有更好的泛化性。

二、支持向量机要素

1、数据

数据即一系列自变量以及对应的因变量（分类标签）。

2、模型

支持向量（Support Vector）

支持向量是最靠近决策边界的数据。根据拉格朗日对偶问题可证明，在边缘上的数据决定了决策边界及其边缘，而在边缘外的数据无任何作用，因此被称为支持向量。

边缘（Margin）

$w=\begin{bmatrix} w_{0}\\ w_{1}\\ ......\\ w_{n} \end{bmatrix}$

$x=\begin{bmatrix} x_{0}\\ x_{1}\\ ......\\ x_{n} \end{bmatrix}$

$w^{T}x^{(1)}+w_{0}=1$ $w^{T}x^{(2)}+w_{0}=-1$

$margin = \frac{w^{T}(x^{(1)}-x^{(2)})}{\left \| w \right \|}=\frac{2}{\left \| w \right \|}$

其中，x为一系列属性，n为属性个数，w为属性对应的系数， $x^{(1)}$ 和 $x^{(2)}$ 分别为决策边界两侧的支持向量， $w^{T}x^{(1)}+w_{0}=1$ 和 $w^{T}x^{(2)}+w_{0}=-1$ 分别为决策边界两侧的边缘边界，margin为边缘宽度。

模型表示

为了最大化边缘，目标函数等价表示为：

$min \frac{1}{2}\left \| w \right \|^{2}$

因为要使得数据在边缘外，所以约束条件为：

$s.t.w^{T}x^{(l)}+w_{0}\begin{cases} \geq 1 & \text{ if } y^{(l)}=1 \\ \leq -1 & \text{ if } y^{(l)}=-1 \end{cases}$

等价于：

$s.t. y^{(l)}(w^{T}x^{(l)}+w_{0})\geq 1$

其中，y为标签值。

拉格朗日对偶问题模型表示

目标函数表示为：

$\alpha =\begin{bmatrix} \alpha ^{1}\\ \alpha ^{2}\\ ......\\ \alpha ^{N} \end{bmatrix}$

$min \frac{1}{2}\sum_{l=1}^{N}\sum_{l'=1}^{N}\alpha _{l}\alpha _{l'} y^{(l)}y^{(l')}K(x^{(l)},x^{(l')})-\sum_{l=1}^{N}\alpha _{l}$

其中， $\alpha$ 为对偶系数，N为数据个数， $K(x^{(l)},x^{(l')})$ 为数据 $x^{(l)}$ 与数据 $x^{(l')}$ 的核函数（kernel function），取决于核（kernel），通常有线性核、多项式核和sigmoid核等。

核（kernel）将数据从低维映射到高维，使之具有非线性能力。

核函数（kernel function）直接计算数据映射到高维之后的内积。

1.线性核（linear kernel）

$K(x^{(l)},x^{(l')})=(x^{(l)})^{T}x^{(l')}$

2.多项式核（polynomial kernel）

$K(x^{(l)},x^{(l')})=(\gamma (x^{(l)})^{T}x^{(l')}+r)^{d}$

其中， $\gamma$ 和r是系数，d为多项式的维数。

3.sigmoid核（sigmoid kernel）

$K(x^{(l)},x^{(l')})=tanh(\gamma (x^{(l)})^{T}x^{(l')}+r)$

约束条件表示为：

$s.t. \sum_{l=1}^{N}\alpha _{l}y^{(l)}=0,\alpha _{l}\geq 0$

3、损失函数

铰链损失（Hinge loss）

$l(w,w_{0}|x,y)=max(0,1-y(w^{T}x+w_{0}))$

损失函数

SVM的损失函数采用铰链损失，并且将目标函数和约束条件结合：

$L(w,w_{0}|D)=\frac{1}{N}\sum_{l=1}^{N}max(0,1-y^{(l)}(w^{T}x^{(l)}+w_{0}))+\frac{\lambda }{2}\left \| w \right \|^{2}$

其中， $\lambda$ 为目标函数的权重，亦可理解为正则项的惩罚系数。

4、优化算法

SVM采用梯度下降（Gradient Descend）进行优化

$L(w,w_{0}|D)=\begin{cases} \frac{\lambda }{2}\left \| w \right \|^{2} & \text{ if } y^{(l)}(w^{T}x^{(l)}+w_{0})\geq 1 \\ \frac{1}{N}\sum_{l=1}^{N}1-y^{(l)}(w^{T}x^{(l)}+w_{0})+\frac{\lambda }{2}\left \| w \right \|^{2} & \text{ otherwise } \end{cases}$

$\frac{\vartheta L}{\vartheta w_{j}}=\begin{cases} \lambda w_{j} &\text{ if } y^{(l)}(w^{T}x^{(l)}+w_{0})\geq 1\\ \lambda w_{j}-y^{(l)}x^{(l)}& \text{ otherwise } \end{cases}$

$\frac{\vartheta L}{\vartheta w_{0}}=\begin{cases} 0 &\text{ if } y^{(l)}(w^{T}x^{(l)}+w_{0})\geq 1\\ -y^{(l)}& \text{ otherwise } \end{cases}$

三、支持向量机实践（sklearn）

以kaggle数据集"Students' Academic Performance Dataset"为例

1、数据准备

直接下载并使用"Students' Academic Performance Dataset" 数据集，读取数据

import pandas as pd

dataset = pd.read_csv('./Edu_Data.csv')  # 读取csv文件中的数据

删除包含缺失值的数据，消除缺失值影响

dataset.dropna(axis=0, how='any', inplace=True)  # 删除数据中存在缺失值的行

数据预处理。对有数值关系的字符型属性进行序数编码，对无数值关系的字符型属性进行独热编码

import category_encoders as ce

encoder_Ordinal = ce.OrdinalEncoder(
    cols=['StageID', 'GradeID', 'SectionID', 'Semester', 'ParentschoolSatisfaction', 'StudentAbsenceDays']).fit(
    dataset)  # 对有序类别特征进行序数编码
encoder_Onehot = ce.OneHotEncoder(
    cols=['gender', 'NationalITy', 'PlaceofBirth', 'Topic', 'Relation', 'ParentAnsweringSurvey'],
    use_cat_names=True).fit(dataset)  # 对无序类别特征进行独热编码
encoded_dataset = encoder_Onehot.transform(encoder_Ordinal.transform(dataset))  # 对数据集进行两次编码

因为支持向量机不具有缩放不变性，因此最好规范化数据范围。本文采用标准化。

from sklearn.preprocessing import StandardScaler  # 用于对数值特征进行标准化

X = encoded_dataset.drop(['Class'], axis=1)  # 从数据集中分离出特征矩阵X
y = encoded_dataset['Class']  # 从数据集中分离出标签向量y
pre_standard = StandardScaler().fit(X)  # 用于对特征矩阵进行标准化，使其均值为0，方差为1
standard_dataset = pre_standard.transform(X)  # 对特征矩阵进行标准化

2、训练模型

Hold-out，划分训练集和测试集

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33,
                                                    random_state=26)  # 将数据集按照33%的比例划分为训练集和测试集，并设置随机种子为26

分别训练不同惩罚系数C下的线性核支持向量机和多项式核支持向量机

from sklearn.svm import SVC
import numpy as np

C_num = 10  # 设置惩罚参数C的取值范围
step = 10  # 设置步长

# 创建四个数组对象，用于存储不同核函数和不同惩罚参数下的训练集和测试集的准确率
linear_train_score = np.zeros(C_num)
linear_test_score = np.zeros(C_num)
polynomial_train_score = np.zeros(C_num)
polynomial_test_score = np.zeros(C_num)

# 使用for循环遍历不同的惩罚参数C的取值
for i in range(C_num):
    linear_svc = SVC(C=1 + i * step, kernel='linear',
                     decision_function_shape='ovr')
    linear_svc.fit(X_train, y_train)
    linear_train_score[i] = linear_svc.score(X_train, y_train)  # 计算并保存训练集上的准确率
    linear_test_score[i] = linear_svc.score(X_test, y_test)  # 计算并保存测试集上的准确率

    poly_svc = SVC(C=1 + i * step, kernel='poly', degree=2,
                   decision_function_shape='ovr')
    poly_svc.fit(X_train, y_train)
    polynomial_train_score[i] = poly_svc.score(X_train, y_train)  # 计算并保存训练集上的准确率
    polynomial_test_score[i] = poly_svc.score(X_test, y_test)  # 计算并保存测试集上的准确率

可视化不同惩罚系数下两种支持向量机分别在训练集和测试集下的准确率

import matplotlib.pyplot as plt

plt.figure(figsize=(12, 8))
C_value = np.arange(1, C_num * step, step)
# 绘制不同核函数和不同惩罚参数下的训练集和测试集的准确率曲线，并添加图例
plt.plot(C_value, linear_train_score, label='linear_train_score')
plt.plot(C_value, linear_test_score, label='linear_test_score')
plt.plot(C_value, polynomial_train_score, label='poly_train_score')
plt.plot(C_value, polynomial_test_score, label='poly_test_score')
plt.legend(loc='center right', bbox_to_anchor=(1, 0.7))
plt.xlabel("C value")
plt.ylabel("Score")
plt.show()

结果如下：

因此训练一个C=31的线性核支持向量机模型

linear_svc = SVC(C=31, kernel='linear', decision_function_shape='ovr')  # 创建一个线性核函数的SVM分类器，并设置惩罚参数C为31，决策函数形式为一对多（ovr）
linear_svc.fit(X_train, y_train)  # 使用训练集拟合分类器模型

3、评估模型

分别评估模型在训练集和测试集上的准确率

print("Score of train-set using linear kernel : {:.4f}".format(linear_svc.score(X_train, y_train)))  # 打印训练集上的准确率
print("Score of test-set using linear kernel : {:.4f}".format(linear_svc.score(X_test, y_test)))  # 打印测试集上的准确率

结果如下：

Score of train-set using linear kernel : 0.8754
Score of test-set using linear kernel : 0.7358

使用混淆矩阵（confusion-matrix）评估模型。

y_predict = linear_svc.predict(X_test)  # 对测试集进行预测
print(pd.crosstab(y_test, y_predict, rownames=['true value'],
                  colnames=['predict value']))  # 创建一个交叉表，显示真实标签和预测标签之间的对应关系

结果如下：