支持向量机 数模打卡

支持向量机

1. 间隔与支持向量

划分超平面，将不同类别的样本分开->最鲁棒、泛化能力最强的划分超平面->

• 划分超平面的描述$$w^{T}x+b=0$$w为决定超平面方向的法向量，b为位移项。
• 正确分类的条件：$w^T{x}_i+b$的正负由$y_i$正负决定。令$$\{\begin{array}{c}{w}_T{x}_i+b\ge +1,y_i=+1\\ w_T{x}_i+b\le -1,y_i=-1\end{array}$$使等号成立的训练样本点称为支持向量。两个异类支持向量到超平面的距离之和为$\gamma =\frac{2}{||w||}$，称为“间隔”margin。
• 欲找到有最大间隔的划分超平面，即找到满足上述约束的w和b 使得$\gamma$最大，即$$\begin{gathered} \underset{w,b}{\max }\frac{2}{||w||} \\ s.t.y_i(w_T{x}_i+b)\ge 1,i=1,2,\dots ,m. \end{gathered}$$也即是最小化$\frac{1}{2}||w|{|}^2.$

2. 对偶问题

求解上述最小化问题，这是一个凸二次规划问题。
可以用拉格朗日乘子法得到对偶问题，限定拉格朗日乘子${\alpha }_i\ge 0$得到拉格朗日函数$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))$$求偏导、代入得$$\begin{gathered} 对偶问题：\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j(♡) \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,{\alpha }_i\ge 0 \end{gathered}$$解出α得到$$f(x)=w_{T}x+b=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^{T}x+b$$该求和过程还意味着最终模型只与支持向量有关，因为由KKT条件，任意样本有${\alpha }_i=0$或$y_{i}f(x_i)=1$。

• SMO算法求解($♡$)：每次选择两个α，固定其他参数，求解此式，重复这两步。转为关于α_i的单变量二次规划问题。
• 对于b，使用所有支持向量求解的平均值$$b=\frac{1}{|S|}\sum _{sϵS}(y_s-\sum _{iϵS}{\alpha }_i{y}_i{x}_i^T{x}_s).$$

3. 核函数

原始空间中并不线性可分->升维（存在性->）。

• 令$\varphi (x)$表示将x映射后的特征向量，模型为$$f(x)=w_T\varphi (x)+b，$$定义函数$\kappa$来计算高维空间内积：$$\kappa (x_i,x_j)=<\varphi (x_i),\varphi (x_j)>=\varphi (x_i{)}^T\varphi (x_j)$$类似2求解得到$$f(x)=w_T\varphi (x)+b=\sum _{i=1}^m{\alpha }_i{y}_i\kappa (x,x_i)+b$$
• 如何得到合适的核函数：
  定理 核函数作用于所有数据对得到核矩阵K是半正定的。反之，一个对称函数所对应的核矩阵半正定，就能作为核函数使用。也即是：任何一个核函数都隐式地定义了一个称为“再生核Hilbert空间”的特征空间。且容易得核函数的线性组合、直积，及$g(x)\kappa (x,z)g(z)$也是核函数。
  

4. 软间隔与正则化

允许支持向量机在一些样本上出错：soft margin.
优化目标改为$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{l}_{0/1}(y_i(w^T{x}_i+b)-1)$$其中$l_{0/1}$为“0/1损失函数”，即自变量<0时取1，其他情况取0.而C的值影响“软硬程度”，C无穷大，转化为硬间隔。
替代损失surrogate loss：$l_{0/1}$数学性质不太好时用于替代它，例如：

优化目标可以写成$$\underset{f}{\min }\Omega (f)+C\sum _{i=1}^{m}l(f(x_i),y_i)$$前称结构风险，描述模型f的性质；后称经验风险，描述模型与训练数据的契合程度。此式可以成为“正则化”(regularization)问题，Ω成为正则化项，C称为正则化常数。常用$L_p$范数作正则化项。

5. 支持向量回归

支持向量回归SVR能够容忍f(x)与y之间最多有$ϵ$的偏差，超出这个范围才算损失。也即是构建了一个间隔带。
SVR问题可以形式化为$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{l}_{ϵ}(f(x_i)-y_i)，$$其中C为正则化常数，$${\ell }_{ϵ}(z)=\{\begin{array}{ll}0,& \text{ if }|z|⩽ϵ\\ |z|-ϵ,& \text{ otherwise }\end{array}$$引入松弛变量得$$\begin{gathered} \underset{w,b,{\xi }_i,\widehat{{\xi }_i}}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m({\xi }_i+\widehat{{\xi }_i}) \\ s.t.f(x_i)-y_i\le ϵ+{\xi }_i, \\ {y}_i-f(x_i)\le ϵ+\widehat{{\xi }_i}, \\ {\xi }_i\ge 0,\widehat{{\xi }_i}\ge 0. \end{gathered}$$同理用拉格朗日乘子法，结合KKT条件得SVR的解形如$$\begin{gathered} f(x)=\sum _{i=1}^m(\widehat{{\alpha }_i}-{\alpha }_i)x_i^{T}x+b. \\ b=y_i+ϵ-\sum _{i=1}^m(\widehat{{\alpha }_i}-{\alpha }_i)x_i^{T}x. \end{gathered}$$特征映射形式则对应引入$\kappa$核函数即可。

6. 核方法

表示定理：给定再生核希尔伯特空间H、范数定义，对于任意单调递增函数$\Omega$和非负损失函数$\ell$，优化问题$$\underset{hϵH}{\min }=\Omega (||h|{|}_H)+\ell (h(x_1),h(x_2,\dots ,h(x_m))$$的解总能写成$h^{\ast }(x)={\sum }_{i=1}^m{\alpha }_i\kappa (x,x_i).$

• 核方法指基于核函数的学习方法，最常见的是通过“核化”来将线性学习器拓展为非线性学习器。
• 核线性判别分析KLDA：通过核化对线性判别分析进行非线性拓展。
• 关键步骤：通过映射$\varphi$将样本映射到特征空间，用线性判别分析可以求得$h(x)=w_T\varphi (x)$。
  可用核函数$\kappa (x,x_i)=\varphi (x_i{)}^T\varphi (x)$来隐式地表达此映射和特征空间。而由表示定理$h(x)={\sum }_{i=1}^m{\alpha }_i\kappa (x,x_i)$可完成转化。

代码（参考https://blog.csdn.net/m0_72195508/article/details/140480741）

import numpy as np
from scipy import stats
from sklearn.model_selection import train_test_split
import pandas as pd  
from sklearn import svm  
from sklearn.metrics import accuracy_score
# 设置文件路径  
file_path = '多分类水果数据.csv'  
# 使用 pandas 的 read_csv 函数读取 CSV 文件，注意查看csv文件的编码，默认不填为utf-8编码
data = pd.read_csv(file_path,encoding='gbk')  
# 显示数据的前几行来验证读取是否成功  
print(data.head())
pd.set_option('display.unicode.ambiguous_as_wide', True)
pd.set_option('display.unicode.east_asian_width', True)
pd.set_option('display.width', 300) # 设置打印宽度(**重要**)
print(data.isnull().any())
# 划分数据
# 选择第二列到最后一列，第一列相当于序号列可以忽略
X = data.iloc[0:59, 1:5]   # [:)左闭右开
#选择数据的特征列（第2列到第5列）作为特征矩阵 X，第6列作为标签 Y
Y = data.iloc[0:59, 6]
 
# 划分数据集为训练集和验证集
X_train, X_valid, Y_train, Y_valid = train_test_split(X, Y, test_size=0.2, random_state=42)


# 使用验证集进行预测，并打印模型的准确率。
# RBF 核函数
rbf_model = svm.SVC(kernel='rbf', gamma='auto')
rbf_model.fit(X_train, Y_train)
rbf_pred = rbf_model.predict(X_valid)
print("RBF Kernel Accuracy:", accuracy_score(Y_valid, rbf_pred))
# 多项式核函数
poly_model = svm.SVC(kernel='poly', degree=3)
poly_model.fit(X_train, Y_train)
poly_pred = poly_model.predict(X_valid)
print("Polynomial Kernel Accuracy:", accuracy_score(Y_valid, poly_pred))
# Sigmoid 核函数
sigmoid_model = svm.SVC(kernel='sigmoid')
sigmoid_model.fit(X_train, Y_train)
sigmoid_pred = sigmoid_model.predict(X_valid)
print("Sigmoid Kernel Accuracy:", accuracy_score(Y_valid, sigmoid_pred))


# 选择新数据并进行预测
test_X = data.iloc[59:, 1:5]
# print(test_X)
test_Y = data.iloc[59:, 6]
# print(test_Y)
#举例：若为xxx核函数，此处以rbf为例
#预测数据
rbf_pred_test = rbf_model.predict(test_X)
print(rbf_pred_test)

一些运行结果：