吃瓜 |Task5 支持向量机

第六章支持向量机

支持向量机：找距离正负样本都最远的超平面 ，其解唯一，且不偏不倚，泛化性能较感知机模型更好。

超平面 $(w^{T}x+b=0,w,x\in {\mathbb{R}}^n)$

• 方程不唯一
• 法向量w和位移项b确定唯一超平面
• w垂直于超平面
• w指向一半为正空间，另一半为负空间
• 任意点x到超平面距离公式$f=\frac{|w^{T}x+b|}{\Vert w\Vert }$

几何间隔

• 给定数据集和超平面，样本点为$(x_i,y_i),y_i\in$ {-1,1}
• ${\gamma }_i=\frac{y_i|w^{T}x+b|}{\Vert w\Vert }$，正确分类时${\gamma }_i>0$，几何间隔等价于点到超平面距离
• 定义数据集关于超平面的几何间隔：$\gamma =\underset{i=1,2,\cdot \cdot \cdot ,m}{\min }{\gamma }_i$

支持向量机
前提：线性可分数据集$X$
模型：求得数据集关于超平面的几何间隔$\gamma$达到最大（距离正负样本最远）的超平面，套上sign函数实现分类$$y=sign(w^{T}x+b)=\{\begin{array}{c}1,w^{T}x+b>0\\ 0,w^{T}x+b<0\end{array}$$

寻求这样的一个超平面

1. 求解$max\gamma =max{\gamma }_{min}=max\frac{y_{min}|w^T{x}_{min}+b|}{\Vert w\Vert }$
2. 使得有唯一解，给出约束条件$y_{min}\left|w^T{x}_{min}+b\right|=1$（任意取，不唯一）
3. 恒等变换：支持向量机主问题$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^{2}s.t.1-y_i（w^{T}x+b）\le 0,i=1,2\cdot \cdot \cdot ,m$$
4. 凸优化问题求解：拉格朗日对偶

• 凸优化问题：目标函数是凸函数（$\frac{y_1+y_2}{2}>f\left(\frac{x_1+x_2}{2}\right)$），约束集合是凸集
• 一般约束优化问题：
  $$minf(x)$$$$s.t.g_i(x)\le 0,h_j(x)=0$$
• 拉格朗日函数
  $$L(x,\mu ,\lambda )=f(x)+\sum _{i=1}^m{\mu }_i{g}_i(x)+\sum _{j=1}^m{\lambda }_j{h}_j(x)$$
• 拉格朗日对偶函数$\Gamma (\mu ,\lambda )$为$L(x,\mu ,\lambda )$关于x的下确界
  $$\Gamma (\mu ,\lambda )=infL(x,\mu ,\lambda )=inff(x)+\sum _{i=1}^m{\mu }_i{g}_i(x)+\sum _{j=1}^m{\lambda }_j{h}_j(x)$$
  对偶函数优越性质：
  1.对偶函数恒为凹函数
  2.当$\mu <0$时，$\Gamma (\mu ,\lambda )\le f(\tilde{x})\le p^{\ast }$${\sum }_{j=1}^m{\lambda }_j{h}_j(x)=0$,${\sum }_{i=1}^m{\mu }_i{g}_i(x)\le 0$,
  $L(x,\mu ,\lambda )=f(x)+{\sum }_{i=1}^m{\mu }_i{g}_i(x)+{\sum }_{j=1}^m{\lambda }_j{h}_j(x)<f(x)$
  所以$\Gamma (\mu ,\lambda )=infL(x,\mu ,\lambda )\le L(\tilde{x},\mu ,\lambda )\le f(\tilde{x})\le p^{\ast }$

所以我们要求解对偶问题：
$$max\Gamma (\mu ,\lambda )$$$$s.t.\mu \ge 0$$
设最优解为$d^{\ast },d^{\ast }\le p^{\ast }$（弱对偶性），当等号成立时为强对偶性

KKT条件
$f(x),g_i(x),h_j(x)$一阶偏导连续，$x^{\ast },({\mu }^{\ast },{\lambda }^{\ast })$为主问题和对偶问题的最优解，强对偶性成立，有以下条件
$$\{\begin{array}{c}{\nabla }_{x}L\left(x^{\ast },{\mu }^{\ast },{\lambda }^{\ast }\right)=\nabla f\left(x^{\ast }\right)+{\sum }_{i=1}^m{\mu }_i^{\ast }\nabla g_i\left(x^{\ast }\right)+{\sum }_{j=1}^n{\lambda }_j^{\ast }\nabla h_i\left(x^{\ast }\right)=0\\ h_i\left(x^{\ast }\right)=0\\ g_i\left(x^{\ast }\right)⩽0\\ {\mu }_i^{\ast }⩾0\\ {\mu }_i^{\ast }{g}_i\left(x^{\ast }\right)=0\end{array}$$

解答：

主问题：
$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^{2}s.t.1-y_i（w^{T}x+b）\le 0,i=1,2\cdot \cdot \cdot ,m$$
拉格朗日函数：
$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^{T}x+b))$$
求解$L(w,b,\alpha )$关于$w,b$的下确界
将$w,b$合并成为$\hat{w}$，求其一阶导等于0得到最小值

对偶问题：
加多一个对于b的系数的约束${\sum }_{i=1}^m{\alpha }_i{y}_i=0$，对于对偶问题变成了求关于w的最小值的问题，与b无关了
但是同时还需要满足KKT的五个条件，其中等式约束没有用到，一阶导为0已经用过了。

采用拉格朗日对偶问题求解的原因：特征维数远高于数据量，转换成拉格朗日对偶问题，使得对偶问题和数据量成正比，解答更加高效解答。