SVM支持向量机模型-SMO最小最优算法

1.支持向量机简介
支持向量机是一种二类分类模型，定义在特征空间上的间隔最大的线性分类器，间隔最大使其有别于感知机。
即求解凸二次规划的最优化算法，包括线性可分支持向量机，线性支持向量机以及非线性支持向量机三种。

2.线性可分支持向量机

训练数据线性可分时调用，通过硬间隔最大化学习

2.1函数间隔
对于给定训练数据集T与超平面(w,b)，定义超平面关于样本点的函数间隔为
${\gamma }_i^{\prime }=y_i(w{x}_i+b)$
定义超平面关于训练集的函数间隔为超平面关于T中所有样本点的函数间隔最小值
${\gamma }_i^{\prime }=min{\gamma }_i$
函数间隔用于表现分类预测的正确性与确信度
若不对w进行约束，一旦w，b成比例增加时，超平面无变化但是函数间隔会倍数增加，规范化$||w||=1$
$\gamma =y_i(\frac{w}{||w||}{x}_i+\frac{b}{||w||})$

2.2几何间隔
对于给定训练数据集T与超平面(w,b)，定义超平面关于样本点的几何间隔为
${\gamma }_i=y_i(\frac{w}{||w||}{x}_i+\frac{b}{||w||})$
定义超平面关于训练集的几何间隔为超平面关于T中所有样本点的几何间隔最小值
$\gamma =min{\gamma }_i$

2.3硬间隔最大化
2.3.1最大间隔分离超平面
即求$max\gamma$使得
$y_i(\frac{w}{||w||}{x}_i+\frac{b}{||w||})\ge \gamma$
或求$max({\gamma }^{\prime }/||w||)$
$y_i(w{x}_i+b)\ge {\gamma }^{\prime }$
尝试转化为凸二次规划问题，求解w，b,因为$\gamma$取值并不影响结果，令其为1，将max问题转化为等价二次min问题
$min\frac{1}{2}||w|{|}^2$
$s.t.y_i(w{x}_i+b)-1\ge 0$

2.3.2最大间隔法

• 输入：线性可分训练集T={(x1,y1)(x2,y2)…(xn,yn)};Y={-1,1}
• 输出：最大间隔分离超平面和分类决策函数
• 1）构造并求解约束最优化问题
• $min\frac{1}{2}||w^2||$
  $s.t.y_i(w{x}_i+b)-1\ge 0$求得$w^{\ast },b^{\ast }$
• 由此得到分离超平面与分类决策函数
• $w^{\ast }x+b^{\ast }=0$
• $f(x)=sign(w^{\ast }x+b^{\ast })$

2.3.3拉格朗日求解对偶问题求解
引入拉格朗日乘子a向量
$L(w,b,a)=\frac{1}{2}||w|{|}^2-\sum a_i{y}_i(w{x}_i+b)+\sum a_i$
由拉格朗日对偶性，转化为求对偶问题
$ma{x}_{a}mi{n}_{w,b}L(w,b,a)$
分别求偏导数=0，转化为
$min(\frac{1}{2}\sum a_i{a}_j{y}_i{y}_j{x}_i{x}_j-\sum a_i$
$\sum a_i{y}_i=0，a_i\ge 0$
求出a，分离超平面为
$\sum a_i{y}_i(x{x}_i)+b=0$

2.3.4线性可支持向量机学习算法

• 输入：线性可分训练集T={(x1,y1)(x2,y2)…(xn,yn)};Y={-1,1}

• 输出：分离超平面及分类决策函数

• 1）构造并求解约束最优化问题

• $min(\frac{1}{2}\sum a_i{a}_j{y}_i{y}_j{x}_i{x}_j-\sum a_i$
  $\sum a_i{y}_i=0，a_i\ge 0$求得最优解a（偏导）

• 计算$w^{\ast }=\sum a_i^{\ast }{y}_i{x}_i$

• 选择一个a正分量计算$b^{\ast }=y_j-\sum a_j^{\ast }{y}_i(x_i{x}_j)$

• 由此得到分离超平面与分类决策函数

• $w^{\ast }x+b^{\ast }=0$

• $f(x)=sign(w^{\ast }x+b^{\ast })$

3.线性支持向量机

当训练数据线性不可分时，使用软间隔最大化
即存在特异值，使训练集线性不可分（画不出完全正确的分离超平面）

3.1软间隔最大化
因此，对每个样本增加一个大于0矫正量，松弛变量$ϵ$
约束条件为
$y_i(w{x}_i+b)\ge 1-{ϵ}_i$
${ϵ}_i\ge 0$
同时，对于每个松弛变量支付一个代价，并对总代价增加一个参数C>0，作为惩罚变量，目标函数则变为
$min(\frac{1}{2}||w|{|}^2+C\sum ({ϵ}_i))$
理解：一方面，保持原目标使得几何间隔尽可能大，另一方面，惩罚量越少则误分类点个数尽量小，C用于调和两者权重

3.2线性支持向量机算法

• 输入：线性可分训练集T={(x1,y1)(x2,y2)…(xn,yn)};Y={-1,1}

• 输出：分离超平面及分类决策函数

• 1）选择惩罚参数C>0,构造并求解约束最优化问题

• $min(\frac{1}{2}\sum a_i{a}_j{y}_i{y}_j{x}_i{x}_j-\sum a_i)$
  $\sum a_i{y}_i=0，C\ge a_i\ge 0$求得最优解a（偏导）

• 计算$w^{\ast }=\sum a_i^{\ast }{y}_i{x}_i$

• 选择一个a正分量计算$b^{\ast }=y_j-\sum a_j^{\ast }{y}_i(x_i{x}_j)$

• 由此得到分离超平面与分类决策函数

• $w^{\ast }x+b^{\ast }=0$

• $f(x)=sign(w^{\ast }x+b^{\ast })$

3.3合页损失函数
即将最小化目标函数转化为最小化损失函数，取合页损失函数，即$[z{]}_{+}=z$ if z>0 else 0
z即$L(y(wx+b))=[1-y_i(w{x}_i+b){]}_{+}$指样本点正确分类且到分离超平面距离大于1时，损失为0，否则即本身
目标函数为$mi{n}_{w,b}[1-y(w{x}_i+b){]}_{+}+\lambda ||w|{|}^2$

4.非线性支持向量机

4.1核技巧
设$\chi$是输入空间（欧式空间$R^n$的子集或离散集合），又设H为特征空间（希尔伯特空间），如果存在一个从输入空间到输出空间的映射，即对所有$x,z\in \chi$,函数K(x,z)满足条件：
$K(x,z)=\varphi (x)\varphi (z)$
则称$K(x,z)$为核函数，为内积
核函数给定时，映射可以有多种
则通过映射后点内积求解线性支持向量机
$f(x)=sign(\sum a_i{y}_{i}K(x,z)+b)$

4.2核函数
通常所说的核函数为正定核函数
正定核的充要条件为K(x,z)对应的Gram矩阵为半正定矩阵
可以在实际问题中直接调用已检验为正定核的核函数。

4.3常见核函数
4.3.1 多项式核函数
$K(x,z)=(xz+1{)}^p$
对应的支持向量机是一个p次多项式分类器
则分类决策函数变为
$f(x)=sign(\sum a_i{y}_i(xz+1{)}^p+b)$
2.高斯核函数
$K(x,z)=exp(-\frac{||x-z|{|}^2}{2{\sigma }^2}+b)$
对应的支持向量机为高斯径向基函数分类器
3.字符串核函数
核函数定义在字符串集合中，用于离散数据集合
用于衡量字符串子串相似度，越相似，则核函数值越大
$K(s,t)=\sum [\varphi (s){]}_u[\varphi (t){]}_u=\sum {\lambda }^{l(i)}{\lambda }^{l(j)}$
l(i)为在u维度向量中，与u相似的子串长度大小，如u=‘abc’,s=‘acdasbc’,则l(i)=7-4+1=4,累加为出现次数

4.4非线性支持向量机学习算法
即将原内积换位映射空间内积，以核函数的形式表现

• 输入：线性可分训练集T={(x1,y1)(x2,y2)…(xn,yn)};Y={-1,1}

• 输出：分类决策函数

• 1）选择惩罚参数C>0,构造并求解约束最优化问题

• $min(\frac{1}{2}\sum a_i{a}_j{y}_i{y}_{j}K(x_i,x_j)-\sum a_i)$
  $\sum a_i{y}_i=0，C\ge a_i\ge 0$求得最优解a（偏导）

• 选择一个a正分量计算$b^{\ast }=y_j-\sum a_j^{\ast }{y}_{i}K(x_i,x_j)$

• 由此得到分类决策函数

• $f(x)=sign(\sum a_i{y}_{i}K(x,z)+b)$

5.序列最小最优化算法

为提高算法效率提出的快速实现算法
求解两个变量二次规划的解析方法和选择变量的启发式方法

• 输入：线性可分训练集T={(x1,y1)(x2,y2)…(xn,yn)};Y={-1,1}，精度$ϵ$
• 输出：近似解a
• 取初值$a^0=0，k=0$
• 选取优化变量$a_1^k,a_2^k$求得最优解，更新a
• $mi{n}_{a_1,a_2}W(a_1,a_2)=\frac{1}{2}{K}_{11}{a}_1^2+\frac{1}{2}{K}_{22}{a}_2^2+y_1{y}_2{K}_{12}{a}_1{a}_2-(a_1+a_2)+y_1{a}_1{\sum }_{i=3}^N{y}_i{a}_i{K}_{i1}+y_2{a}_2{\sum }_{i=3}^N{y}_i{a}_i{K}_{i2}$
• s.t $a_1{y}_1+a_2{y}_2=-{\sum }_{i=3}^N{y}_i{a}_i$
• $0\le a_i\le C$
• 若在精度范围内满足停止条件
• $\sum a_i{y}_i=0,0\le a_i\le C$
• $a_i=0<=>y_{i}g(x_i)\ge 1$
• $0<a_i<C<=>y_{i}g(x_i)=1$
• $a_i=C<=>y_{i}g(x_i)\le 1$
• 其中$g(x_i)=\sum a_j{y}_{j}K(x_j,x_i)+b$
• 否则k=k+1，继续