机器学习——支持向量机原理总结（清晰易懂，适合大学牲体质）

机器学习系列之支持向量机

写在前面：本文是笔者复习《机器学习》课程时基于书本及各类参考资料总结出的关于支持向量机（SVM）算法原理的一些个人理解。
文中如有不当之处，望请各位大佬批评指正！

---

• 线性可分支持向量机与硬间隔最大化
  • 线性可分支持向量机：数据线性可分。使用硬间隔最大化。
  • 函数间隔和几何间隔
  • 间隔最大化
  • 学习的对偶算法
• 线性支持向量机与软间隔最大化
  • 线性支持向量机：数据近似线性可分。使用软间隔最大化。
  • 学习的对偶算法
  • 支持向量
• 非线性支持向量机与核函数
  • （*）Mercer定理：
    • 任何半正定函数都可以作为核函数。
    • 核函数 $K(x,z)$ 的充要条件是 $K$ 矩阵是半正定的。
• （*）解的稀疏性：模型训练完后，大部分样本不需要保留，最终模型仅与支持向量有关。

---

一、线性可分支持向量机与硬间隔最大化

（1）线性可分支持向量机：

​ 给定线性可分数据集，通过间隔最大化或等价求解相应的凸二次规划问题学习得到的分离超平面
$$w^{\ast }\cdot x+b^{\ast }=0$$

​ 以及相应的分类决策函数
$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$
​

（2）函数间隔与几何间隔：

• 函数间隔：表示分类的正确性和可信度

  对于给定的训练数据集 $T$ 和超平面 $(w,b)$ 关于样本点 $(x_i,y_i)$ 的函数间隔为

  $${\hat{\gamma }}_i=y_i(w\cdot x_i+b)$$
  超平面 $(w,b)$ 与数据集 $T$ 的函数间隔为所有样本点函数间隔的最小值

  $$\hat{\gamma }=\underset{i=1,2,3,\dots ,N}{\min }{\hat{\gamma }}_i$$

• 几何间隔：实例点到超平面的带符号的距离。

  对于给定的训练数据集 $T$ 和超平面 $(w,b)$ ，定义超平面 $(w,b)$ 关于样本点 $(x_i,y_i)$ 的几何间隔为
  $${\gamma }_i=y_i(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert b\Vert })$$
  超平面 $(w,b)$ 与数据集 $T$ 的几何间隔为所有样本点几何间隔的最小值
  $$\gamma =\underset{i=1,2,3,\dots ,N}{\min }{\gamma }_i$$

(3) 间隔最大化：

• 直观解释：不仅能将正负类分开，而且对最难分的点（离超平面最近的点）也有足够大的可信度将其分开。

• 最大间隔准则：

  函数间隔形式：
  $$\begin{gathered} \underset{w,b}{\max }\frac{\hat{\gamma }}{\Vert w\Vert } \\ s.t.y_i(w\cdot x_i+b)\ge \hat{\gamma }i=1,2,3,\cdots ,N \end{gathered}$$

  几何间隔形式：
  $$\begin{gathered} \underset{w,b}{\max }\gamma \\ s.t.y_i(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert b\Vert })\ge \hat{\gamma }i=1,2,3,\cdots ,N \end{gathered}$$
  step 1 ： 优化问题转化

  若按比例改变 $w,b$ ，函数间隔也会改变，但这一改变对不等式约束和目标函数的优化没有影响（产生等价的最优

  化问题）， 因此将 $\hat{\gamma }=1$ 。代入函数间隔形式的准则后将==$max\frac{1}{\Vert w\Vert }$转换 $min\frac{1}{2}{\Vert w\Vert }^2$==为可以得到将要求解的最优化问题：（凸二次规划问题）
  $$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2 \\ s.t.y_i(w\cdot x_i+b)-1\ge 0,i=1,2,3,\cdots ,N \end{gathered}$$
  step 2：最大间隔法

  • 输入：线性可分数据集 $T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$ ,其中 $x_i\in R^n$ ， y i ∈ { − 1 , 1 } y_i \in \{ -1, 1\} yi​∈{−1,1} .
  • 输出：最大间隔分离超平面和分类决策函数。

  （1）构造并求解约束最优化问题：
  $$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2 \\ s.t.y_i(w\cdot x_i+b)-1\ge 0,i=1,2,3,\cdots ,N \end{gathered}$$
  ​ 得到最优解 $w^{\ast },b^{\ast }$ 。

  （2）由此得到分离超平面：
  $$w^{\ast }\cdot x+b^{\ast }=0$$
  ​ 分类决策函数：
  $$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$
  step 3：支持向量和间隔边界

  • 支持向量：

    在线性可分的情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例。

    即：使约束条件式等号成立的点：
    $$y_i(w\cdot x_i+b)-1=0$$

  • 间隔边界：（$H_1,H_2$）

    1. 没有实例点落在$H_1,H_2$中间。
    2. 分离超平面与其平行且位于$H_1,H_2$中央。
    3. $H_1,H_2$ 之间的距离称为间隔。

（4）学习的对偶算法求解

• ​ 原问题与对偶问题等价的条件：
  

​ step 1：构建拉格朗日函数

​ 对每一个不等式约束引入拉格朗日乘子 ${\alpha }_i\ge 0$，$i=1,2,\cdots ,N$。

​ 定义拉格朗日函数：（最优化目标函数 $f(w)=\frac{1}{2}{\Vert w\Vert }^2$，等式约束：$L(w,b,a)=f(x)+\sum {\alpha }_i\ast g(x)$）
$$L(w,b,a)=\frac{1}{2}{\Vert w\Vert }^2-\sum _{i=1}^N{\alpha }_i{y}^{(i)}(w^T\cdot x^{(i)}+b)+\sum _{i=1}^N{\alpha }_i$$
​ 其中 $\alpha =({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N{)}^T$ 为拉格朗日乘子向量。

​ 根据拉格朗日对偶性，原始问题的对偶问题为极大 极小问题：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,a)$$
step 2： 求解拉格朗日函数

​ 1、求 $\underset{w,b}{\min }L(w,b,a)$

​ 将原函数分别对 $w,b$ 求偏导数并令其等于0：
$$\begin{gathered} {\nabla }_{w}L(w,b,a)=w-\sum _{i=1}^N{\alpha }_i{y}^{(i)}{x}^{(i)}=0 \\ {\nabla }_{b}L(w,b,a)=-\sum _{i=1}^N{\alpha }_i{y}^{(i)}=0 \end{gathered}$$
​ 得：
$$\begin{gathered} w=\sum _{i=1}^N{\alpha }_i{y}^{(i)}{x}^{(i)} \\ \sum _{i=1}^N{\alpha }_i{y}^{(i)}=0 \end{gathered}$$
​ 将上述式子代入拉格朗日函数得出 $\underset{w,b}{\min }L(w,b,a)$：
$$\underset{w,b}{\min }L(w,b,a)=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
​ 2、求$\underset{w,b}{\min }L(w,b,a)$对 $\alpha$ 的极大，等价于对其对偶问题求极小 (*)
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}(x^{(i)}\cdot x^{(j)}) \\ s.t.\sum _{i=1}^N{\alpha }_i{y}^{(i)}=0 \\ {\alpha }_i\ge 0,i=1,2,\cdots ,N \end{gathered}$$
​ 求出最优解 ${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$ 。

​ 3、计算 $w^{\ast },b^{\ast }$
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$
​ 选择 ${\alpha }_i^{\ast }$的一个正分量，计算
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$
​ 最终得出分离超平面和分类决策函数：
$$\begin{gathered} w^{\ast }\cdot x+b^{\ast }=0 \\ f(x)=sign(w^{\ast }\cdot x+b^{\ast }) \end{gathered}$$

​ 最终模型：
$$f(x)=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^{T}x+b$$
​ KKT条件：
$$\{\begin{array}{c}{\alpha }_i\ge 0,\\ y_{i}f(x_i)\ge 1,\\ {\alpha }_i(y_{i}f(x_i)-1)=0.\end{array}$$

​ （*）解的稀疏性：模型训练完后，大部分样本不需要保留，最终模型仅与支持向量有关。

---

二、线性支持向量机与软间隔最大化

软间隔整体求解方式与硬间隔类似。仅多出一个惩罚系数：${\epsilon }_i$ 。

step 1：优化目标函数
$$\begin{gathered} \underset{w,b,\epsilon }{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\epsilon }_i \\ s.t.y^{(i)}(w^T{x}^{(i)}+b)\ge 1-{\epsilon }_i,i=1,\cdots ,m \\ {\epsilon }_i\ge 0,i=1,\cdots ,m \end{gathered}$$

step 2：构建拉格朗日函数（$f(x)=\frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^m{\epsilon }_i$，$g(x)=-(y^{(i)}(w^T{x}^{(i)}+b)-1+{\epsilon }_i)$）

$$L(w,b,\epsilon ,\alpha ,\gamma )=f(x)+\sum _{i=1}^m{\alpha }_{i}g(x)+\sum _{i=1}^m{\gamma }_{i}h(x)$$

​ 将具体式子代入公式，得：
$$L(w,b,\epsilon ,\alpha ,\gamma )=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\epsilon }_i-\sum _{i=1}^m{\alpha }_i(y^{(i)}(w^T{x}^{(i)}+b)-1+{\epsilon }_i)-\sum _{i=1}^m{\gamma }_i{\epsilon }_i$$
step 3：分别对 $w,b,\gamma$ 求导置零
$$\begin{gathered} {\nabla }_{w}L(w,b,\epsilon ,\alpha ,\gamma )\Rightarrow w=\sum _{i=1}^N{\alpha }_i{y}^{(i)}{x}^{(i)} \\ {\nabla }_{b}L(w,b,\epsilon ,\alpha ,\gamma )\Rightarrow \sum _{i=1}^N{\alpha }_i{y}^{(i)}=0 \\ {\nabla }_{{\epsilon }_i}L(w,b,\epsilon ,\alpha ,\gamma )\Rightarrow C={\alpha }_i+{\gamma }_i\Rightarrow {\alpha }_i\le C \end{gathered}$$
step 4：带回拉格朗日函数，得：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}(x^{(i)}\cdot x^{(j)}) \\ s.t.\sum _{i=1}^N{\alpha }_i{y}^{(i)}=0 \\ 0\le {\alpha }_i\le C,i=1,2,\cdots ,N \end{gathered}$$

根据KKT条件可推得最终模型仅与支持向量有关, 也即hinge损失函数依然保持了支持向量机解的稀疏性。