统计学习方法——支持向量机（一）

支持向量机（一）

支持向量机是一种二分类模型，学习策略就是间隔最大化。主要包括线性可分支持向量机、线性支持向量机以及非线性支持向量机。

线性可分支持向量机与硬间隔最大化

线性可分支持向量机

给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为：
$$w^{\ast }\cdot x+b^{\ast }=0$$
以及相应的分类决策函数
$$f\left(x\right)=sign\left(w^{\ast }\cdot x+b^{\ast }\right)$$
称为线性可分支持向量机。

函数间隔与几何间隔

• 函数间隔
  对于给定的训练数据集$T$和超平面$\left(w,b\right)$，定义超平面$\left(w,b\right)$关于样本点$\left(x_i,y_i\right)$的函数间隔为：
  $${\hat{\gamma }}_i=y_i\left(w\cdot x_i+b\right)$$
  定义超平面关于训练集$T$的函数间隔为：
  $$\hat{\gamma }=\underset{i=1,\cdots ,N}{\min }{\hat{\gamma }}_i$$

• 几何间隔
  对于给定的训练集$T$和超平面$\left(w,b\right)$，定义超平面$\left(w,b\right)$关于样本点$\left(x_i,y_i\right)$的几何间隔为：
  $${\gamma }_i=y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)$$
  其中$\Vert w\Vert$为$w$的$L_2$范数。定义超平面关于训练集$T$的几何间隔为：
  $$\gamma =\underset{i=1,\cdots ,N}{\min }{\gamma }_i$$

• 两者关系
  $${\gamma }_i=\frac{{\hat{\gamma }}_i}{\Vert w\Vert }$$
  $$\gamma =\frac{\hat{\gamma }}{\Vert w\Vert }$$

间隔最大化

支持向量机的基本思想是：求解能够正确划分训练集并且几何间隔最大的分离超平面。

• 最大间隔分离超平面
  最大间隔分离超平面可以表示为：
  $$\underset{w,b}{\max }\gamma$$
  $$s.t.y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)\ge \gamma ,i=1,2,\cdots ,N$$
  可以改写为：
  $$\underset{w,b}{\max }\frac{\hat{\gamma }}{\Vert w\Vert }$$
  $$s.t.y_i\left(w\cdot x_i+b\right)\ge \hat{\gamma },i=1,2,\cdots ,N$$
  其实间隔$\hat{\gamma }$的取值并不会影响最优化问题的解，所以等价为最大化$\frac{1}{\Vert w\Vert }$ ,又因为最大化$\frac{1}{\Vert w\Vert }$和最小化$\frac{1}{2}{\Vert w\Vert }^2$是等价的，所以最终化为：
  $$\underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2$$
  $$s.t.y_i\left(w\cdot x_i+b\right)-1\ge 0,i=1,2,\cdots ,N$$

• 最大间隔分离超平面的存在唯一性
  若训练集$T$线性可分，则可将训练数据集中的样本点完全正确分开的最大间隔分离超平面存在且唯一。

• 支持向量与间隔边界

  • 支持向量
    在线性可分情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量。
    • 对于正例$y_i=+1$，支持向量在$H_1:w\dot{x}+b=1$
    • 对于负例$y_i=-1$，支持向量在$H_2:w\dot{x}+b=-1$
  • 间隔与间隔边界
    $H_1$与$H_2$之间的距离称为间隔，分离超平面位于中间，间隔等于$\frac{2}{\Vert w\Vert }$，$H_1$与$H_2$则称为间隔边界。

学习的对偶算法

采用拉格朗日对偶性求解。

• 引入拉格朗日乘子${\alpha }_i\ge 0,i=1,2,\cdots ,N$，定义拉格朗日函数：
  $$L\left(w,b,\alpha \right)=\frac{1}{2}{\Vert w\Vert }^2-\sum _{i=1}^N{\alpha }_i{y}_i\left(w\cdot x_i+b\right)+\sum _{i=1}^N{\alpha }_i$$
  原始问题的对偶问题变为：
  $$\underset{\alpha }{\max }\underset{w,b}{\min }L\left(w,b,\alpha \right)$$
• 求解${\min }_{w,b}L\left(w,b,\alpha \right)$
  $$\underset{w,b}{\min }L\left(w,b,\alpha \right)=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j+\sum _{i=1}^N{\alpha }_i$$
• 求$\underset{w,b}{\min }L\left(w,b,\alpha \right)$对$\alpha$的最大值
  $$\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j+\sum _{i=1}^N{\alpha }_i$$
  $$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0,\alpha \ge 0,i=1,2,\cdots ,N$$
  其对应的等价对偶问题为：
  $$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j-\sum _{i=1}^N{\alpha }_i$$
  $$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0,\alpha \ge 0,i=1,2,\cdots ,N$$

【定理】设${\alpha }^{\ast }={\left({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_l^{\ast }\right)}^T$是对偶最优化问题的解，则存在下标$j$，使得${\alpha }_j^{\ast }>0$，并可按下式求解原始问题的解$w^{\ast },b^{\ast }$:
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i{x}_j$$

• 最终的分离超平面
  $$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i+b^{\ast }=0$$

参考文献

《统计学习方法》