机器学习 支持向量机

一.概述

参见:https://zhuanlan.zhihu.com/p/77750026

1.概念
(1)支持向量:

样本中距指定超平面最近的点称为"支持向量"(Support Vector)

(2)支持向量机:

"支持向量机"(Support Vector Machine;SVM)是常用的监督学习分类算法,最早由Vladimir N. Vapnik和Alexey Ya. Chervonenkis于1963年
提出.而目前的版本由Corinna Cortes和Vapnik于1993年提出.在2012年深度学习出现以前,SVM被认为是机器学习中最成功,表现最好的算法.其基本
思想是找到1个"超平面"(Hyper Plane)使2个类别的样本分别位于超平面2侧.为使该超平面更具健壮性,该超平面应使支持向量到该超平面的距离最大,
称为"最大间隔超平面"(Maximum Margin Hyperplane;MMH).基于该思想,SVM有时也被称为"大间距分类器"(Large Margin Classifier)

(3)线性可分与线性不可分:

设$D_0,D_1$是$n$维欧氏空间中的2个点集.若$\exists w\in R^n,b\in R$,使对$\forall x_i\in D_0$有$w\cdot x_i+b>0$,而对$\forall x_j\in D_1$有$w\cdot x_j+b<0$,则称$D_0,D_1$线性可分(Linearly Separable);否则,称$D_0,D_1$线性不可分(Linearly Inseparable)

2.公式推导
(1)公式推导:

设超平面为$$w^T\cdot x+b=0$$其中向量$w=(w_1,w_2...w_n{)}^T$表示权重(Weight)或超平面的方向,b表示偏好(Bias)或超平面距原点的距离.由于支持向量到超平面的距离为$d$,故$$\{\begin{array}{l}\frac{w^T\cdot x+b}{||w||}\ge d(y=1)\\ \frac{w^T\cdot x+b}{||w||}\le -d(y=-1)\end{array}$$转化得到$$\{\begin{array}{l}\frac{w^T\cdot x+b}{||w||\cdot d}\ge 1(y=1)\\ \frac{w^T\cdot x+b}{||w||\cdot d}\le -1(y=-1)\end{array}$$令$||w||\cdot d=1$(这对目标函数的优化没有问题),得到$$\{\begin{array}{l}{w}^T\cdot x+b\ge 1(y=1)\\ w^T\cdot x+b\le -1(y=-1)\end{array}$$将方程组合并为$$y(w^T\cdot x+b)=|w^T\cdot x+b|\ge 1$$

由于$d=\frac{|w^T\cdot x+b|}{||w||}$,故$$d=\frac{y(w^T\cdot x+b)}{||w||}$$于是目标为$$\max \frac{2y(w^T\cdot x+b)}{||w||}$$其中系数2是为了便于推导而添加的.将目标转化为$$\max r=\frac{2}{||w||}$$其中$r$称为间隔(Margin).再转化为$$\begin{gathered} \min \frac{||w|{|}^2}{2}(1) \\ s.t.y_i(w^T\cdot x_i+b)\ge 1 \end{gathered}$$其中平方是为了便于计算而添加的.通过拉格朗日乘数法可将$(1)$式转换为对偶问题(Dual Problem).具体来说,该问题的拉格朗日函数为$$L(\omega ,b,\alpha )=\frac{||w|{|}^2}{2}+\sum _{i=1}^m{\alpha }_i[1-y_i({\omega }^T{x}_i+b)](2)$$其中$\alpha =({\alpha }_1,{\alpha }_2...{\alpha }_m)$.当$\frac{\partial L(\omega ,b,\alpha )}{\partial \omega }=\frac{\partial L(\omega ,b,\alpha )}{\partial b}=0$时,有$$\begin{gathered} \omega =\sum _{i=1}^m{\alpha }_i{y}_i{x}_i(3) \\ \sum _{i=1}^m{\alpha }_i{y}_i=0(4) \end{gathered}$$将$(3),(4)$式带入$L$中即可消去$\omega ,b$.再考虑$(4)$式的约束,即可得到$(1)$式的对偶问题$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\{\begin{array}{l}\sum _{i=1}^m{\alpha }_i{y}_i=0\\ {\alpha }_i\ge 0(i=1,2...m)\end{array} \end{gathered}$$解出$\alpha$后可进一步求出$\omega ,b$,从而求得$MMH$为$$MMH=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i{x}^T+b$$其中$y_i$为支持向量$x_i$的类别标记,${\alpha }_i,b$为通过上式解得的参数

(2)与逻辑回归的关系:

参见:http://www.ai-start.com/ml2014/html/week7.html

3.特性:

①模型的算法复杂度由支持向量的个数决定,而不由数据的维度决定,因而不容易产生过拟合
②训练出的模型完全依赖于支持向量,即使去除数据集中所有非支持向量的点,得到的模型也不变
③支持向量较少时得到的模型较容易泛化

二.处理线性不可分问题
1.基本思想:

处理对线性不可分问题基本思想是先将低维的"输入空间"(Input Space)映射到高维的"特征空间"(Feature Space),以使问题线性可分,再在特征空
间中寻找MMH.设x为原样本点,则映射后的新样本点为f(x)=ω·φ(x)+b

2.核方法
(1)概念:

使用"核方法"(Kernel Trick)的目的是