机器学习必备算法之(二)支持向量机(SVM)及Python实现

什么是支持向量机

从定义上来说是在特征空间上的间隔最大化的线性分类器。…(好像很复杂的样子)…简单的来说，特征空间内，有一些数据点，我们想用一个超平面把他们分成两半，且正类和反类到这个超平面的距离要最大，这种分类模型就是支持向量机。比如，二维空间中，我找一条直线把数据点们划分为两部分，如图，B是但AC都不是。
那什么是超平面呢？数学意义上是$w^{T}x+b=0,x\in R^n$，对于一条线来说，一个点是超平面；对于二维平面来说，一条线就是超平面；对于三位空间来说，一个平面就是超平面（一个大西瓜，一个刀面切两半~）…n维空间来说的超平面是n-1维的。

支持向量机分类

那么接下来我们来聊一聊具体的模型，基本思想：写出优化模型$\to$用拉格朗日乘子法求出对偶问题$\to$聊一聊KKT条件。（求对偶问题及KKT条件不太会的同学可以查一查袁亚湘院士的最优化理论与方法那本书或者直接搜索一下，想深入学数学优化的可以看看王宜举和修乃华老师编的非线性最优化理论与方法那本黄皮书哦~）
我们的分类决策是$f(x)=sgn(w^{T}x+b)$

线性可分之最大化硬间隔模型

什么是线性可分呢？ 简单来说就是字面意思，真的存在先行超平面能把特征空间上的数据分开。那么怎么分呢？如图，我们想把这个星星和圆圈分开，那么实际上在两条虚线之间的任意一条直线好像都可以做到，但中间这条红线最好，因为他对于数据的扰动包容性最强，专业一点就是最鲁棒的，对未知数据集泛化能力更强。
举个例子，如果我不取红线作为分类决策，而是取穿过红点的虚线作为决策，目前看来也是可以的，但当我们把他用于测试集（未知的新数据）的时候，假设有一个点是红点，离右侧虚线很近，但就是超过了一点点，但我们的决策还是会把它分到蓝色星星里去，这就是分错了！

所以我们要寻找星星和圆圈到超平面距离最大的那个超平面。那么求间隔就是图上两次平行线之间求距离啦，这里不细推啦哈~直接给出这个距离是
$$\gamma =\frac{2}{||w||}$$
那么目标就是最大化这个间隔，约束呢就是它要满足能分开这些数据，也就是当$y_i=1$时（比如星星），它要满足$w^T{x}_i+b\ge 1$，即在穿过蓝色星星的上面；红色就有$y_i=-1$时$w^T{x}_i+b\le 1$，我们写出这个标准的问题：
$$\begin{array}{rl}\underset{w,b}{\max }& \frac{2}{||w||}\\ s.t.& y_i(w^T{x}_i+b)\ge 1,i=1,\dots ,m\end{array}$$

为了方便，我们变化一下得到SVM的基本模型：
$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}||w|{|}^2\\ s.t.& y_i(w^T{x}_i+b)\ge 1,i=1,\dots ,m\end{array}$$

这是一个有约束的凸二次规划模型，我们可以通过对偶去求解，首先写出拉格朗日函数，拉格朗日乘子为$\mu$:
$$L(w,b,\mu )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\mu }_i(1-y_i(w^T{x}_i+b))$$
用其分别对$w,b$求偏导令其为0
$$\begin{array}{rl}\frac{\partial L}{\partial w}& =w-\sum _{i=1}^m{\mu }_i{y}_i{x}_i=0\\ \frac{\partial L}{\partial b}& =\sum _{i=1}^m{\mu }_i{y}_i=0\end{array}$$

带入到拉格朗日函数中我们就得到了其对偶问题：
min ⁡ μ ∑ i = 1 m ∑ j = 1 m μ i μ j y i y j x i T x j − ∑ i = 1 m μ i s . t . μ i ≥ 0 , i = 1 , … , m ∑ i = 1 m μ i y i = 0 \begin{aligned} \min_{\mu} \quad &\sum_{i=1}^m\sum_{j=1}^m\mu_i\mu_jy_iy_jx_i^Tx_j-\sum_{i=1}^m\mu_i\\ s.t. \quad & \mu_i\ge0,i=1,\dots,m\\ &\sum_{i=1}^m\mu_iy_i=0 \end{aligned}