SVM 分类

1 目的和思想

SVM 模型的目的：二分类和多分类
SVM 的整体思想：用多个面，将其分为多个部分

2 模型原理

模型实现：

1. 通过训练数据，拟合，得到模型的参数值

3 模型推导

1. 二维线性可分离模型是 $w^T+b=0$，训练集可以如下线性划分：
   $$\text{if}{y}_i=+1，\text{is}{w}^T+b\ge 0$$$$\text{if}{y}_i=-1，\text{is}{w}^T+b<0$$
2. 模型是线性可分离的，可以得到基本模型
   $$y_i(w^T+b)\ge 0$$
3. 通过 1) 和 2) ， 得到 $||w||$ 越小，$d$ 越大
   1）$w^T+b=0$ 和 $a{w}^T+ab=0$ 是同一个面，如果 $(w,b)$ 满足基本模型，那么 $(aw，ab)$ 也满足基本模型
   2）矢量到平面的距离
   $$d=\frac{|w^T+b|}{||w||}$$
4. 根据 2 和 3 ，推导了SVM的基本模型
   $$min\frac{1}{2}||w|{|}^2$$$$s.t.y_i(w^T+b)\ge 1$$
5. 在支持向量机的线性基本形式的基础上，将其改进为非线性解。 需在目标函数添加一个正则项并将低维 $x$ 转换为高维 $\phi (x)$，得到
   $$K(x_i,y_i)=\phi (x_i{)}^T\phi (y_i)$$
6. SVM非线性原函数如下
   $$min\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$$$s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i$$$${\xi }_i\ge 0$$
7. 通过将原始函数转换为对偶函数的原理，将SVM非线性转换为对偶问题
   m a x θ ( α , β ) = i n f { 1 2 ∣ ∣ w ∣ ∣ 2 − C ∑ i = 1 N ξ i + ∑ i = 1 N β i ξ i + ∑ i = 1 N α i [ 1 + ξ i − y i w T φ ( x 2 ) − y i b ] } max \quad \theta(\alpha, \beta)=inf\{\tfrac{1}{2}||w||^2-C\sum_{i=1}^N \xi_i+\sum_{i=1}^N \beta_i\xi_i+\sum_{i=1}^N \alpha_i[1+\xi_i-y_iw^T\varphi(x_2)-y_ib]\} maxθ(α,β)=inf{21​∣∣w∣∣2−Ci=1∑N​ξi​+i=1∑N​βi​ξi​+i=1∑N​αi​[1+ξi​−yi​wTφ(x2​)−yi​b]}$$s.t.{\alpha }_i\ge 0(i=1\sim N)$$$${\beta }_i\ge 0$$
8. 通过对 $\omega ,\xi ,b$分别求导，得到
   $$max\theta (\alpha )=\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,y_i)$$$$s.t.0\le {\alpha }_i\ge C$$$$\sum _{i=1}^N{\alpha }_i{y}_j=0$$
9. 最优化求解，得到
   $$w^T\phi (x)=\sum _{i=1}^N{\alpha }_i{y}_{i}K(x_i,x)$$
10. 通过KKT条件后，求出 $b$ 的值
    $$b=\frac{1-y_i{\sum }_{i=1}^N{\alpha }_i{y}_{i}K(x_i,x)}{y_i}$$
11. 模型测试，输入样本，可得到结果
    $$\sum _{i=1}^N{x}_i{y}_{i}K(x_i,x)+b\ge 0\Rightarrow y=+1$$$$\sum _{i=1}^N{x}_i{y}_{i}K(x_i,x)+b<0\Rightarrow y=-1$$

4 SVM 总结

SVM 分类时训练数据如果非常大，时间消耗就会很大，同时对多分类问题效果不算太好

5 SVM 函数使用

5.1 输入

特征值+目标值

data = [[5.5, 4.7, 1.3, 0],
        [3.2, 7.2, 1.8, 0],
        [6.9, 11.7, 10.3, 1],
        [5.2, 7.8, 4.5, 0],
        [8.8, 9.9, 10.1, 1],
        [3.4, 7.5, 8.4, 1]]
data=np.array(data)

5.2 函数及参数

from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
import numpy as np

x, y = np.split(data,
                (3,),    # 前 3列作为特征值
                axis=1)  # 1: 以列的方式  0: 以行的方式
                
x_train, x_test, y_train, y_test = train_test_split(x, y,
                                                    random_state=2,  # 用于洗牌，打乱数据
                                                    train_size=0.5)  # 训练样本占比
                                                    
model = SVC(C=0.6,         # 误差上限, 默认 0.5
          kernel='rbf',  # 指定核函数
          gamma=10)      # 核系数
model.fit(x_train, y_train.ravel())  # ravel():将二维转为一维

5.3 输出及应用

print(model.score(x_train, y_train))  # 精确度
y_predict = model.predict(x_test)     # 测试集预测
print(y_predict)
print(model.score(x_test, y_test))