支持向量机(SVM)算法学习笔记

支持向量机(SVM)算法学习笔记

Motivation：

最近学习CNN卷积神经网络，其中有介绍到SVM里面的Hinge损失函数，为了弄懂这个概念重新看了一遍SVM算法，这里总结SVM中的关键知识点。

Related：

SVM涉及到的数学知识
线性分类
凸二次规划
正则化
Hinge损失函数

Introduction：

支持向量机(Support Vector Machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大化使它有别于感知机；支持向量机还包括核技巧，这使它成为非线性分类器。支持向量机的学习策略是间隔最大化，可看成是求解一个凸二次规划问题(Convex Quadratic Programming)，也等价于正则化的合页(Hinge)损失函数最小化问题。支持向量机的学习算法是求解凸二次规划的最优化算法。

Detail：

按照《统计学习方法》中支持向量机一章中的介绍，本文分三个部分：

1. 线性可分支持向量机
2. 软间隔最大化
3. 非线性支持向量机和核函数
   线性可分支持向量机中假设数据集通过一个超平面就可以分开，但是绝大部分数据集通过线性分类器不能通过超平面分开，如果允许存在一定的误差就叫软间隔最大化支持向量机，如果线性方式完全不可分需要通过一个核函数讲向量空间又原始空间转换到特征空间，或者说将低维度原始数据转换到高纬度空间已达到线性可分的分类算法叫非线性支持向量机。

1. 线性可分支持向量机

假设给定训练数据集：
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋅ ⋅ ⋅ , ( x n , y n ) } T=\{(x_1,y_1),(x_2,y_2),\cdot \cdot\cdot, (x_n,y_n)\} T={(x1​,y1​),(x2​,y2​),⋅⋅⋅,(xn​,yn​)}
其中 x i ∈ x = R n , y i ∈ y = { + 1 , − 1 } , i = { 1 , 2 , … , N } x i x_i \in x=R^n , y_i \in y = \{+1,-1\} , i=\{1,2,…,N\} x_i xi​∈x=Rn,yi​∈y={+1,−1},i={1,2,…,N}xi​为第i个特征向量，也称为实例，$y_i$是$x_i$的标记，当$y_i=+1$ 时称$x_i$为正例，反之为负例。$（x_i,y_i）$为样本点。此处假设数据集T是线性可分的。

定义函数间隔(Functional Margin)对于给定的训练数据集T和超平面$（w,b）$,定义超平面$（w,b）$关于样本点$(x_i,y_i)$的函数间隔为：$$\widehat{{\gamma }_i}=y_i(\omega \cdot x_i+b)$$
定义几何间隔(Geometric Margin) 对于给定的训练数据集T和超平面（w,b）,定义超平面（w,b）关于样本点$(x_i,y_i)$的几何间隔为：
$${\gamma }_i=y_i(\frac{\omega }{\Vert \omega \Vert }\cdot x_i+\frac{b}{\Vert \omega \Vert })$$
函数间隔和几何间隔的关系：$${\gamma }_i=\frac{\widehat{{\gamma }_i}}{\Vert \omega \Vert }$$
对于线性可分数据集支持向量机的核心思想是能够正确划分训练数据集并且几何间隔最大的超平面。
可以用如下表达式：
$$\underset{\omega ,b}{\max }\gamma$$
$$s.t.y_i(\frac{\omega }{\Vert \omega \Vert }\cdot x_i+\frac{b}{\Vert \omega \Vert })⩾\gamma ，i=1,2,\dots .,N$$
考虑几何间隔和函数间隔的关系也可以写成：
$$\underset{\omega ,b}{\max }\frac{\hat{\gamma }}{\Vert \omega \Vert }$$
$$s.t.y_i(\omega \cdot x_i+b)⩾\hat{\gamma }，i=1,2,\dots .,N$$
从函数间隔的定义可以知道：函数间隔可以表示分类预测的正确性和置信度。如果成比例地改变w和b可以改变函数间隔但是实际上超平面并没有改变。
从几何间隔的定义可以知道：几何间隔实际是样本点到超平面的几何距离，也可以说是样本点到超平面的带符号距离。
从上面的分析可以知道函数间隔的取值不会影响最优化问题的解，这样，就可以去函数间隔为1，将支持向量机学习的优化问题转换成：
$$\begin{gathered} \underset{\omega ,b}{\min }{\Vert \omega \Vert }^2 \\ s.t.y_i(\omega \cdot x_i+b)-1⩾0，i=1,2,\dots .,N \end{gathered}$$
这是一个凸二次规划问题，如果求出了问题的解${\omega }^{\ast },b^{\ast },$那么就可以得到最大分类超平面：${\omega }^{\ast }\cdot x+b^{\ast }=0$
分类决策函数：$f(x)=sign({\omega }^{\ast }\cdot x+b^{\ast })$

拉格朗日对偶性(Lagrange duality)

在解决最优化问题的时候，常常利用拉格朗日对偶性(Lagrange duality)将原始问题转换成对偶问题，通过解对偶问题而得到原始问题的解。

1)．原始问题

假设$f(x),c_i(x),h_j(x)$是定义在$R^n$上的连续可微函数。考虑约束最优化问题：
$$\begin{gathered} \underset{x\in R^n}{\min }f(x) \\ s.t.c_i(x)\le 0,i=1,2,\cdot \cdot \cdot ,k \\ {h}_j(x)=0,j=1,2,\cdot \cdot \cdot ,l \end{gathered}$$
称此问题为原始最优化问题。
引入广义拉格朗日函数(Generalized Lagrange Function)
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_i{h}_i(x)$$
这里$x=(x^{(1)},x^{(2)},\cdot \cdot \cdot ,x^{(n)}{)}^T\in R^n$，其中${\alpha }_i,{\beta }_i$是拉格朗日乘子，$a_i\ge 0$。考虑$x$的函数：
$${\theta }_p(x)=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$
下标P表示原始问题（premier）
原始问题的解等价于$$\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$
换句话说原始问题等价于广义拉格朗日函数的极小极大问题。（详细证明可见《统计学习方法》）
为了表示方便定义原始问题的最优值：
$$p^{\ast }=\underset{x}{\min }{\theta }_p(x)$$

2). 对偶问题

定义${\theta }_D(\alpha ,\beta )=minL(x,\alpha ,\beta )$
再考虑极大化上述问题，即：
$$\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$
广义拉格朗日函数的极大极小问题表示为约束最优化问题：
$$\begin{gathered} \underset{\alpha ,\beta }{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta ) \\ s.t.{\alpha }_i\ge 0,i=1,2,\cdot \cdot \cdot ,k \end{gathered}$$
称为原始问题的对偶问题。定义对偶问题的最优解：
$$d^{\ast }=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }$$

3). 原始问题和对偶问题的关系

在如下假设下原始问题和对偶问题的最优解相等。
（1） 假设函数$f(x)$和$c_i(x) $是凸函数，$h_j(x)$是仿射函数，并且$c_i(x)$是存在的，对所有$c_i(x)<0$,则存在$x^*,\alpha,\beta^*,$是$x$是原始问题的解，$\alpha^*,\beta$是对偶问题的解，并且
$p^{\ast }=d^{\ast }=L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$
（2） 假设函数$f(x)$和$c_i(x) $是凸函数，$h_j(x)$是仿射函数，并且$c_i(x)$是存在的，对所有$c_i(x)<0$,则$x^*,\alpha,\beta^{*$是原始问题和对偶问题的解的充分必要条件是$x},\alpha^*,\beta$满足下面的KKT(Karush-Kuhn-Tucker)条件:
$$\begin{gathered} {\nabla }_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {\nabla }_{\alpha }L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {\nabla }_{\beta }L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {\alpha }_i^{\ast }{c}_i(x^{\ast })=0,i=1,2,\cdot \cdot \cdot ,k \\ {c}_i(x^{\ast })\le 0,i=1,2,\cdot \cdot \cdot ,k \\ {\alpha }_i^{\ast }\ge 0,i=1,2,\cdot \cdot \cdot ,k \\ {h}_j(x^{\ast })=0,j=1,2,\cdot \cdot \cdot ,k \end{gathered}$$

综上所述，就有下面的线性可分支持向量机的学习算法–最大间隔算法（Maximum Margin Method）
算法（线性可分支持向量机学习算法–最大间隔法）
输入：线性可分训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y n ) } , 其 中 ， x i ∈ x = R ∗ n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , . . . , N ; T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_n)\},其中，x_i \in x=R*n,y_i \in Y=\{-1,+1\},i=1,2,...,N; T={(x1​,y1​),(x2​,y2​),...,(xN​,yn​)},其中，xi​∈x=R∗n,yi​∈Y={−1,+1},i=1,2,...,N;

2.线性支持向量机与最大软间隔

前面介绍的数据集是假设线性可分的情况下数据，对于线性不可分训练数据是不适用的，因为上述方法中的不等式约束并不是都成立。为解决线性不可分的问题，需要修改硬间隔最大化，使其成为软间隔最大化。
假设给定一个特征空间上的训练数据集：
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } T =\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\} T={(x1​,y1​),(x2​,y2​),...,(xn​,yn​)}
其中， x i ∈ x = R n , y i ∈ y = { + 1 , − 1 } , i = 1 , 2 , . . . , N x_i \in x =R^n,y_i\in y=\{+1,-1\},i=1,2,...,N xi​∈x=Rn,yi​∈y={+1,−1},i=1,2,...,N , $x_i$为第i个特征向量，$y_i$为$x_i$ 的类标记。再假设训练数据不是线性可分的。通常情况下，训练数据中有一些特异点（outlier），将这些特异点除去后，剩下的大部分样本点组成的几何是线性可分的。
线性不可分意味着某些样本点$(x_i,y_i)$ 不能满足函数间隔大于等于1的约束条件。