机器学习-支持向量机

支持向量机

    支持向量机是一种二类分类模型。他的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还宝包括核技巧，使得它实质上是非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划问题，也等价于正则化的合页损失函数的最小化问题。
    当训练数据线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机，又称为硬间隔支持向量机。
    当训练数据近似线性可分时，通过软间隔最大化，学习一个线性的分类器，即线性支持向量机，又称软间隔支持向量机。
    当训练数据线性不可分时，通过核技巧及软间隔最大化，学习非线性支持向量机。

1 线性可分支持向量机与硬间隔最大化

1.1 线性可分支持向量机

    给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为：
$$w^{\ast }x+b^{\ast }=0$$
    以及相应的分类决策函数
$$f(x)=sign(w^{\ast }x+b^{\ast })$$
    称为线性可分支持向量机。

1.2 函数间隔和几何间隔

    函数间隔对于给定的训练数据集$T$和超平面$(w,b)$，定义超平面$(w,b)$关于样本点$(x_i,y_i)$的函数间隔为
$$\widehat{{\gamma }_i}=y_i(w{x}_i+b)$$
    定义超平面$(w,b)$关于训练集$T$的函数间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的函数间隔之最小值，即
$$\hat{\gamma }=mi{n}_{i=1,2,...,N}\widehat{{\gamma }_i}$$
    几何间隔对于给定的训练数据集$T$和超平面$(w,b)$，定义超平面$(w,b)$关于样本点$(x_i,y_i)$的函数间隔为
$${\gamma }_i=y_i(\frac{w}{||w||}{x}_i+\frac{b}{||w||})$$
    定义超平面$(w,b)$关于训练集$T$的函数间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的函数间隔之最小值，即
$$\gamma =mi{n}_{i=1,2,...,N}{\gamma }_i$$

1.3 间隔最大化

    SVM的学习基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。而感知机是基于函数间隔的。
c如何求得一个几何间隔最大的分离超平面，可以表示为下面的约束最优化问题：
$$ma{x}_{w,b}\gamma$$
$$s.t.y_i(\frac{w}{||w||}{x}_i+\frac{b}{||w||})\ge \gamma$$
    考虑到几何间隔和函数间隔关系式，问题可以改写为：
$$ma{x}_{w,b}\frac{\hat{\gamma }}{||w||}$$
$$s.t.y_i(w{x}_i+b)\ge \hat{\gamma }$$
    等价于：
$$mi{n}_{w,b}\frac{||w|{|}^2}{2}$$
$$s.t.y_i(w{x}_i+b)-1\ge 0$$

1.4 学习的对偶算法

     应用拉格朗日对偶性求解支持向量机的最优化原始问题。
    构造拉格朗日函数:
$$L(w,b,\alpha )=\frac{||w|{|}^2}{2}-\sum _{i=1}^N{\alpha }_i{y}_i(w{x}_i+b)+\sum _{i=1}^N{\alpha }_i$$
    原始问题的对偶问题是极大极小问题：
$$ma{x}_{\alpha }mi{n}_{w,b}L(w,b,\alpha )$$
(1)求$mi{n}_{w,b}L(w,b,\alpha )$，对$w,b$求偏导并令其等于0,得到
$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
    带入拉格朗日函数，可得：
$$mi{n}_{w,b}L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j+\sum _{i=1}^N{\alpha }_i$$
    (2)求$mi{n}_{w.b}L(w,b,\alpha )$对$\alpha$的极大，即是对偶问题
$$ma{x}_{\alpha }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j+\sum _{i=1}^N{\alpha }_i$$
$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$${\alpha }_i\ge 0,i=1,2,\mathrm{3...},N$$
    线性可分支持向量机学习算法
    (1)构造并求解约束最优化问题
$$ma{x}_{\alpha }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j+\sum _{i=1}^N{\alpha }_i$$
$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$${\alpha }_i\ge 0,i=1,2,\mathrm{3...},N$$
    求得最优解 ${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$
    (2)计算
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$
    选择${\alpha }^{\ast }$一个正分量${\alpha }_j^{\ast }>0$，计算
$$b^{\ast }=y_i-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i{x}_j)$$
    (3)求得分离超平面
$$w^{\ast }x+b^{\ast }=0$$
    分类决策函数:
$$f(x)=sign(w^{\ast }x+b^{\ast })$$

2 线性支持向量机与软间隔最大化

    线性不可分意味着某些样本点 $(x_i,y_i)$不能满足函数间隔大于等于1的约束条件。为了解决这一问题，引进了一个松弛变量${\xi }_i\ge 0$,使得函数间隔加上松弛变量大于等于1，约束条件变为：
$$y_i(w{x}_i+b)\ge 1-{\xi }_i$$
    那么线性不可分的线性支持向量机的原始问题就是：
$$mi{n}_{w,b,\xi }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$
$$s.t.y_i(w{x}_i+b)\ge 1-{\xi }_i$$
$${\xi }_i\ge 0$$
    原始问题的对偶问题是:
$$mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i{x}_j)-\sum _{i=1}^N{\alpha }_i$$
$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$0\le {\alpha }_i\le C$$
    构造拉格朗日函数：
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{j=1}^N{\alpha }_i(y_i(w{x}_i+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i$$
    其中，${\alpha }_i\ge 0,{\mu }_i\ge 0$。
    依次通过$L(w,b,\xi ,\alpha ,\mu )$对$w,b,\xi$求偏导，并令其等于0，可得：
$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$C-{\alpha }_i-{\mu }_i=0$$
    带入得到：
$$ma{x}_{\alpha }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i{x}_j)+\sum _{i=1}^N{\alpha }_i$$
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$C-{\alpha }_i-{\mu }_i=0$$
$${\alpha }_i\ge 0,{\mu }_i\ge 0$$
    线性支持向量机学习算法
    (1)选择惩罚参数$C>0$。构造并求解凸二次规划问题。
$$mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i{x}_j)-\sum _{i=1}^N{\alpha }_i$$
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$0\le {\alpha }_i\le C$$
    求得最优解 ${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$。
    （2）计算$w^{\ast }={\sum }_{i=1}^N{\alpha }^{\ast }{y}_i{x}_i$，选择${\alpha }^{\ast }$的一个分量${\alpha }_j^{\ast }$适合条件$0<{\alpha }_j^{\ast }<C$。计算
$$b^{\ast }=y_j-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }(x_i{x}_j)$$
    (3)求得分离超平面
$$w^{\ast }x+b^{\ast }=0$$
    分类决策函数:
$$f(x)=sign(w^{\ast }x+b^{\ast })$$

2.2 合页损失函数

    合页损失函数。下标$“+”$表示取正值的函数。
$$[z{]}_{+}=\{\begin{array}{ll}z,& \text{z>0}\\ 0,& \text{z≤0}\end{array}$$
    对于线性支持向量机的合页损失函数：
$$L(y(wx+b))=[1-y(wx+b){]}_{+}$$
    

3.非线性支持向量机与核函数

    如果能用特征空间中的一个超曲面将正负例正确分开，则称这个问题为非线性可分问题。
    用线性分类方法求解非线性变换分类问题分为两步：首先使用一个变换将原空间的数据映射到新空间；然后在新空间用线性分类学习方法从训练数据中学习分类模型。

3.1 核技巧

     核函数 —设$X$是输入空间，又设$H$为特征空间，如果存在一个$X$到$H$的映射：
$$\varphi (x)=X\to H$$
    使得对suoyou$x,z\in X$ ，函数$K(x,z)$满足条件
$$K(x,z)=\varphi (x)\varphi (z)$$
    则$K(x,z)$称为核函数，$\varphi (x)$为映射函数，公式右边为内积。
    核技巧在SVM中的应用，SVM的对偶问题目标函数为：
$$W(\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$
     同样，分类决策函数中的内积也用核函数带题，因为分类决策函数为：
$$f(x)=sign(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_i\varphi (x_i){\varphi }_{(}x)+b^{\ast })$$
$$=sign(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast })$$

3.2 正定核

     $K(x,z)$对应的Gram矩阵
$$K=[K(x_i,x_j){]}_{m\ast m}$$
     是一个半正定矩阵，则称$K(x,z)$是正定核。

3.3 常用核函数

     1.多项式核函数
$$K(x,z)=(xz+1{)}^p$$
     2.高斯核函数
$$K(x,z)=exp(-\frac{||x-z|{|}^2}{2{\sigma }^2})$$
     3.字符串核函数
$$[{\varphi }_n(s){]}_u=\sum _{i:s(i)=u}{\lambda }^{l(i)}$$
     字符串核函数$k_n(s,t)$为
$$k_n(s,t)=\sum _{u\in {\sum }^n}[{\varphi }_n(s){]}_u[{\varphi }_n(t){]}_u$$
$$=\sum _{u\in {\sum }^n}\sum _{(i,j):s(i)=t(j)=u}{\lambda }^{l(i)}{\lambda }^{l(j)}$$

非线性支持向量机

    非线性支持向量机学习算法
    (1)选取适当的核函数$K(x,z)$和适当的参数$C$，
$$mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$0\le {\alpha }_i\le C$$
    求得最优解 ${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$。
    （2）计算$w^{\ast }={\sum }_{i=1}^N{\alpha }^{\ast }{y}_i{x}_i$，选择${\alpha }^{\ast }$的一个分量${\alpha }_j^{\ast }$适合条件$0<{\alpha }_j^{\ast }<C$。计算
$$b^{\ast }=y_j-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }K(x_i,x_j)$$
    (4)构造分类决策函数:
$$f(x)=sign(\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }K(x,x_i)+b^{\ast })$$

4.序列最小优化算法

    SMO算法
    输入：训练数据 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\left\{ (x_1,y_1), (x_2,y_2),..., (x_N,y_N)\right\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中 x i ∈ R n , y i ∈ Y = { + 1 , − 1 } x_i \in R^n,y_i \in Y=\left\{+1,-1\right\} xi​∈Rn,yi​∈Y={+1,−1}，精度为$\xi$；
    输出：近似解$\hat{\alpha }$。
    (1)取初值${\alpha }^{(0)}=0,令$k=0$;$
    (2)选取优化变量${\alpha }_1^k,{\alpha }_2^k$,解析求解两个变量的最优化问题，求得最优解${\alpha }_1^{k+1},{\alpha }_2^{k+1}$,更新$\alpha$为${\alpha }^{(k+1)}$。
    (3)若在精度$\xi$范围内满足停机条件
$$\sum _{i=1}^N{\alpha }_i{y}_i=0,0\le {\alpha }_i\le C$$
$$y_{i}g(x_i)=\{\begin{array}{ll}\ge 1,& \text{{xi∣αi=0}}\\ =1,& \text{{xi∣0<αi<C}}\\ \le 1,& \text{{xi∣αi=C}}\end{array}$$
    其中，$g(x_i)={\sum }_{j=1}^N{\alpha }_j{y}_{j}K(x_j,x_i)+b$,
    则转（4），如不满足则令$k=k+1$转（2）。
    (4)取$\hat{\alpha }={\alpha }^{(k+1)}$