【基础算法】支持向量机，看这一篇就够了

SVM支持向量机

理解

要理解支持向量机的基本原理，首先要从宏观上认识到，支持向量机是一个线性分类器，其与其他分类器的区别在于其决策边界，支持向量机的决策边界是对样本求解的最大边距超平面（maximum-margin hyperplane），所以最终是为了找到这个超平面，有了这个决策边界，便是我们要做的模型，从而可以进行分类了。

下面我们从样本数据的角度，对支持向量机进行深度的剖析：

1. 存在这样一个超平面

如，对于一个二分类数据集
D = { ( x i , y i } i = 1 N (1.1) D = \{(x_i, \quad y_i\}_{i=1}^{N} \tag{1.1} D={(xi​,yi​}i=1N​(1.1)
其中
$$y=w^T{x}_i+b\text{\hspace{1em}(1.2)}$$

$$y_i=\{\begin{array}{ll}+1& y\ge 0\\ -1& y<0\end{array}\text{\hspace{1em}(1.3)}$$

所以：
y i ∈ { + 1 , − 1 } (1.4) y_i \in \{+1,-1\} \tag{1.4} yi​∈{+1,−1}(1.4)
由于数据是线性可分的，则肯定存在一个超平面，使得：
$$w^T{x}_i+b=0\text{\hspace{1em}(1.5)}$$

2. 样本函数距离与几何间隔

由上面可得样本函数距离
$$||y||=||w^T{x}_i+b||=y_i(w^T{x}_i+b)\text{\hspace{1em}(2.1)}$$
可以理解为数据点到超平面的函数距离，但是由于w和b可以成倍的缩放，超平面并没有变化，而||y||却变化了，所以定义几何间隔；
$${\gamma }_i=\frac{||y||}{||w||}=\frac{||w^T{x}_i+b||}{||w||}=\frac{y_i(w^T{x}_i+b)}{||w||}\text{\hspace{1em}(2.2)}$$
则有最短距离
$$\gamma =min{\gamma }_i\text{\hspace{1em}(2.3)}$$
由于不同的超平面最短距离都会不一样，所以对于优化这个最短距离来说，寻找一对w和b，使得r最大，这这对w和b，就是我们要求的超平面。

则任务可以写成：
$$max\gamma \text{\hspace{1em}(2.4)}$$

$$s.t.\gamma \le \frac{y_i(w^T{x}_i+b)}{||w||}\text{\hspace{1em}(2.5)}$$

3. 问题的推导与优化

$$\gamma \cdot ||w||\le y_i(w^T{x}_i+b)\text{\hspace{1em}(3.1)}$$

为了方便推导和优化，可以令函数距离为1
$$\gamma \cdot ||w||=1\text{\hspace{1em}(3.2)}$$
则：
$$\gamma =\frac{1}{||w||}\text{\hspace{1em}(3.3)}$$
所以最大化$r$等价于：
$$max\frac{1}{||w||}\text{\hspace{1em}(3.4)}$$
所以，以上的任务可以等价的写成：
$$max\frac{1}{||w|{|}^2}\text{\hspace{1em}(3.5)}$$

$$s.t.y_i(w^T{x}_i+b)\ge 1\text{\hspace{1em}(3.6)}$$

这便是我们要求的函数表达式。

其中：
$$y_i(w^T{x}_i+b)=1\text{\hspace{1em}(3.7)}$$
的样本点，都叫做支持向量。

4. 转变成凸优化问题

为了能够找到最大分割的这个超平面，我们可以把上述的函数写成凸优化问题：
$$min\frac{1}{2}||w|{|}^2\text{\hspace{1em}(4.1)}$$

$$s.t.1-y_i(w^T{x}_i+b)\le 0\text{\hspace{1em}(4.2)}$$

使用拉格朗日乘数法，则上面的表达式可以写成的朗格朗日函数为
$$\Lambda (w,b,\lambda )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^N{\lambda }_i(1-y_i(w^T{x}_i+b))\text{\hspace{1em}(4.3)}$$
其中λ为朗格朗日乘数，且：
$${\lambda }_i\ge 0$$
计算$\Lambda (w,b,\lambda )$关于$w$和$b$的导数，并且令导数为零，得到：
$$w-\sum _{i=1}^N{\lambda }_i{y}_i{x}_i=0\text{\hspace{1em}(4.4)}$$

$$\sum _{i=1}^N{\lambda }_i{y}_i=0\text{\hspace{1em}(4.5)}$$

将(4.4),(4.5)代入(4.3)：
$$\begin{gathered} \Lambda (w,b,\lambda )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^N{\lambda }_i(1-y_i(w^T{x}_i+b)) \\ =\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i{w}^T{x}_i-\sum _{i=1}^N{\lambda }_i{y}_{i}b \\ =\frac{1}{2}{w}^T\sum _{i=1}^N{\lambda }_i{y}_i{x}_i+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i{w}^T{x}_i-\sum _{i=1}^N{\lambda }_i{y}_{i}b \\ =\frac{1}{2}{w}^T\sum _{i=1}^N{\lambda }_i{y}_i{x}_i-w^T\sum _{i=1}^N{\lambda }_i{y}_i{x}_i+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_{i}b \\ =-\frac{1}{2}{w}^T\sum _{i=1}^N{\lambda }_i{y}_i{x}_i+\sum _{i=1}^N{\lambda }_i \\ =-\frac{1}{2}\sum _{i=1}^N({\lambda }_i{y}_i{x}_i{)}^T\sum _{i=1}^N{\lambda }_i{y}_i{x}_i+\sum _{i=1}^N{\lambda }_i \\ =-\frac{1}{2}\sum _{i=1}^N{\lambda }_i{y}_i(x_i{)}^T\sum _{i=1}^N{\lambda }_i{y}_i{x}_i+\sum _{i=1}^N{\lambda }_i \\ \text{\hspace{1em}(4.6)} \end{gathered}$$
最终得到拉格朗日对偶函数,：
$$\Gamma (\lambda )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\lambda }_i\text{\hspace{1em}(4.7)}$$

总结：若求w，b，λ值，则分为三步

• 固定λ，求Λ的极小值，方法是对w，b求偏导为零；
• 代入w，b，此时是Λ关于λ的函数了，求Λ的极大值；
• 利用SMO 算法求解对偶问题中的拉格朗日乘子λ，从而代入求出w，b的具体值；

所有上面的假设成立，都是数据是线性可分的

如果数据线性不可分，通过构建核函数，把数据映射到更高维的空间，使得数据线性可分；

如果数据里存在噪声，通过引入松弛变量，来对数据进行处理。