机器学习：非线性SVM分类器(原理+python实现)

看这篇文章的前提是已经熟知了SVM在线性可分情况下的分类原理，这篇文章的重点是在线性不可分情况下，该如何利用SVM实现分类。

一 线性不可分与SVM的目标

简单来讲，线性不可分的含义为：不能通过用一条直线或一个平面将数据集分隔开来，比如数据集是下图这样：

由左图可知，我们是无法利用直线来将平面上的数据点进行分类，但是将这些数据投放点到空间时，我们可以用一个平面来实现对数据点的分类。在上述分类的过程中，我们实际上对数据点进行一个"升维“的操作，将原本数据只有（x,y）二维特征上升到（x,y,z）三维特征，使得问题又转换成了线性可分的问题，那么在此条件下的SVM目标，就是找到一个能够分类数据点的平面，使得该平面距离不同类别的数据点的距离最大。
那么此时的分类函数表达式为：
优化目标为：

二 SMO算法步骤

Platt的SMO算法的步骤
步骤1：计算误差：

其中Xi指的是第i个数据向量，一个数据向量是由不同特征构成
Yi指的是该数据向量的类别
Ai指的是第i个数据向量所对应的alpha
注意：非线性则将xit*xj这部分换为K(Xi，Xj)，K为核函数
步骤2：计算上下界L和H：

这是相等的情况下，这里写错了
步骤3：计算η：

注意：非线性换成K(X[i],X[i]) + K(X[j],X[j]) - 2 * K(X[i],X[j])
步骤4：更新αj：

步骤5：根据取值范围修剪αj：

步骤6：更新αi：

步骤7：更新b1和b2：

注意：非线性将b1_new中部分换为K(X[i], X[i]) 和K(X[j], X[i])
非线性将b2_new中部分换为K(X[i], X[j]) 和K(X[j], X[j])
步骤8：根据b1和b2更新b：

根据alpha求权重

i表示第几个数据，当i=1时，即第一个数据向量
X1的数据结构为{x1,x2,x3…xn},这里的下标指的是数据向量的数据特征
那么同理，第一个数据向量的alpha1的数据结构为{a1,a2,a3…an}
所以a1y1x1的计算结果的数据结构和X1和alpha一样，均是一行
因此w的计算是将n个数据向量的w计算相加，其结构也是一行

第三部分 SMO算法实现非线性SVM

import numpy as np
import pandas as pd
# 构建线性不可分时的SVM分类器
class SVM:
    def __init__(self, max_iter=100, kernel='linear'):
        self.max_iter = max_iter
        self._kernel = kernel
        # features是m个数据样本，每个样本有n个特征，对应的类别为labels
    def init_args(self, features, labels):  # 不明白为何不在init里面设置
        # m 为样本个数 n为样本特征数
        self.m, self.n = features.shape
        self.X = features
        self.Y = labels
        self.b = 0.0
        # alpha是一个数组，大小为m*1，每个样本对应一个alpha
        self.alpha = np.ones(self.m)
        # 记录误差E的列表，大小为m*1
        self.E = [self._E(i) for i in range(self.m)]
        # 松弛变量
        self.C = 1.0
    # 判断是否满足KKT条件
    def _KKT(self, i):
        y_g = self._g(i) * self.Y[i]
        if self.alpha[i] == 0:
            return y_g >= 1
        elif 0 < self.alpha[i] < self.C:
            return y_g == 1
        else:
            return y_g <= 1
    # 计算每个样本的预测值f(Xi)
    def _g(self, i):
        r = self.b
        for j in range(self.m