西瓜书之SVM支持向量机

主要学习目标

我们主要的学习目的是简单看一遍西瓜书里面的内容,尽可能的对各个模型都有一定的了解,在本节课程当中,我会给大家分享机器学习相关的的内容,我主要是在学习吴恩达老师最新的机器学习的视频,但是学完之后还是觉得较为空泛,所以在此,借机会再重新复习

支持向量机SVM

为什么要学习支持向量机,首先,支持向量机是在做分类问题的时候,人们最先可能想到的,因为往往一个数据集当中,正类以及负类二者之间的一个分割超平面,可以实现许多超平面进行划分但是支持向量机就是要实现找到能够"正中间"划分的超平面,也就是对训练样本对该超平面的影响不是很大,可以尽可能的实现正类和负类的正确划分

超平面

什么是超平面,超平面可以简单的理解为我们所要研究的问题为$n$维空间的,那么我们就把$n-1$维称为超平面,比如说西瓜书上面对于划分超平面,正类和负类的数据集散落在一个二维的图像上,那么我们就尝试找到1维的一条直线这样子的一个超平面实现划分的应用

支持向量以及间隔

划分超平面可以通过如下线性方程$$w^{T}x+b=0$$
样本空间当中$x$到超平面$(w,b)$的距离为$$r=\frac{\left|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right|}{\Vert \mathbf{w}\Vert }.$$
对于样本点进行计算,若样本正确分类则$y_i=+1$,分类错误则$y_i=-1$
最接近使得分类成立的,也就是恰好使得样本空间当中的正类和负类实现分类样本,被称为支持向量
其到超平面的距离为$$\gamma =\frac{2}{\Vert \mathbf{w}\Vert }$$
该距离也被称为间隔

那么,要找到最大间隔的划分超平面,也就是约束$w$和$b$,使得$\gamma$最大化
$$\begin{array}{c}\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ s.t.y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m.\end{array}$$

对偶问题

对于该问题转化为凸优化问题,可以使用到的方法是拉格朗日乘子法
使用该方法可以写出
$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left(1-y_i\left(w^T{x}_i+b\right)\right)$$

令 $L(\mathbf{w},b,\mathbf{\alpha })$ 分别对 $\mathbf{w}$ 和 $b$ 的偏导为零可得
$$\mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_{i}0=\sum _{i=1}^m{\alpha }_i{y}_i$$
回代可以得到
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{a}_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{a}_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0 \end{gathered}$$
最终模型: $$f(\mathbf{x})={\mathbf{w}}^{\top }\mathbf{x}+b=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i^{\top }\mathbf{x}+b$$
$$KKT条件:\{\begin{array}{l}{\alpha }_i\ge 0;\\ 1-y_{i}f\left({\mathbf{x}}_i\right)\le 0;\\ {\alpha }_i\left(1-y_{i}f\left({\mathbf{x}}_i\right)\right)=0.\end{array}\begin{array}{l}\text{ 必有 }{\alpha }_i=0\text{ 或 }\\ y_{i}f\left({\mathbf{x}}_i\right)=1\end{array}$$
解的稀疏性表示的是在训练完成后, 最终模型仅与支持向量有关(也就是说不与所有的样本有关)

SMO求解

基本思路：不断执行如下两个步骤直至收敛

• 第一步: 选取一对需更新的变量 ${\alpha }_i$ 和 ${\alpha }_j$
• 第二步: 固定 ${\alpha }_i$ 和 ${\alpha }_j$ 以外的参数, 求解对偶问题更新 ${\alpha }_i$ 和 ${\alpha }_j$ 仅考虑 ${\alpha }_i$ 和 ${\alpha }_j$ 时, 对偶问题的约束 $$0=\sum _{i=1}^m{\alpha }_i{y}_i$$ 变为
  $${\alpha }_i{y}_i+{\alpha }_j{y}_j=c,{\alpha }_i⩾0,{\alpha }_j⩾0$$
  用 ${\alpha }_i$ 表示 ${\alpha }_j$ , 代入对偶问题

$$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j\text{ 有闭式解! }$$
对任意支持向量 $\left({\mathbf{x}}_s,y_s\right)$ 有 $y_{s}f\left({\mathbf{x}}_s\right)=1$ 由此可解出$b$
为提高鲁棒性, 通常使用所有支持向量求解的平均值

特征空间映射

引入特征空间的映射,可以更高效率的去解决问题,这是因为如果原始空间是有限维(属性数有限), 那么一定存在一个 高维特征空间使样本线性可分,比如可以在$(x,y)$的情况下加上$(x,y,x+y)$可以更好的解决问题

核函数

原始问题
$$\begin{gathered} \underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2 \\ s.t.y_i\left({\mathbf{w}}^{\top }\varphi \left({\mathbf{x}}_i\right)+b\right)\ge 1,i=1,2,\dots ,m. \end{gathered}$$
对偶问题
$$\begin{gathered} \underset{\mathbf{\alpha }}{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right) \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,{\alpha }_i⩾0,i=1,2,\dots ,m \end{gathered}$$
预测
$$f(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})+b=\sum _{i=1}^m{\alpha }_i{y}_i\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi (\mathbf{x})+b$$
由于引入了$\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi (\mathbf{x})$这个高维的甚至无穷维的值,这是十分难以计算的,首先观察到$\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi (\mathbf{x})$是以内积的形式展现出来

所以为了简便计算,引入核函数的概念
基本思路: 设计核函数

$$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$$

绕过显式考虑特征映射、以及计算高维内积的困难,需要注意到的是核函数是隐式的,不能保证完全找到最优的核函数的选择
Mercer 定理: 若一个对称函数所对应的核矩阵半正定, 则它就能作 为核函数来使用
任何一个核函数, 都隐式地定义了一个$RKHS$ ($ReproducingKernelHilbertSpace$ 再生核希尔伯特空间)
“核函数选择” 成为决定支持向量机性能的关键!

如何使用SVM

基本思路: 允许模型输出与实际输出间存在 $2ϵ$ 的差别
$ϵ-不敏感损失函数$

软间隔

软间隔的提出,主要是因为在大部分的分类过程当中,不能完全保证正类和负类就是刚好一条直线就分开了,也为了避免因为过拟合实现线性分类的问题,所以引入软间隔,也就是允许支持向量机在样本上可以出错

支持向量回归SVR
$$\text{ 原始问题 }\begin{array}{rl}\underset{\mathbf{w},b,{\xi }_i,{\hat{\xi }}_i}{\min }& \frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m\left({\xi }_i+{\hat{\xi }}_i\right)\\ \text{ s.t. }& f\left({\mathbf{x}}_i\right)-y_i⩽ϵ+{\xi }_i,\\ & y_i-f\left({\mathbf{x}}_i\right)⩽ϵ+{\hat{\xi }}_i,\\ & {\xi }_i⩾0,{\hat{\xi }}_i⩾0,i=1,2,\dots ,m\end{array}$$
$$对偶问题\begin{array}{rl}\underset{\mathbf{\alpha },\dot{\mathbf{\alpha }}}{\max }& \sum _{i=1}^m{y}_i\left({\hat{\alpha }}_i-{\alpha }_i\right)-ϵ\left({\hat{\alpha }}_i+{\alpha }_i\right)-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right)\left({\hat{\alpha }}_j-{\alpha }_j\right){\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j\\ \text{ s.t. }& \sum _{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right)=0,0⩽{\alpha }_i,{\hat{\alpha }}_i⩽C\end{array}$$

$$预测f(\mathbf{x})=\sum _{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right){\mathbf{x}}_i^{\mathrm{T}}\mathbf{x}+b$$

将支持向量机的公式改写为
$$\begin{array}{c}{\min }_{\mathbf{w},b}\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\ell }_{0/1}\left(y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)-1\right)\\ {\ell }_{0/1}(z)=\{\begin{array}{cc}1,& \mathrm{i}\mathrm{f}z<0\\ 0,& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}\end{array}$$
计算样本投影后的点距离
$dist(x_1,x_2)=\Vert \varphi (x_1)-\varphi (x_2){\Vert }_{{\mathcal{H}}_k}^2=\sqrt{k(x_1,x_1)-2k(x_1,x_2)+k(x_2,x_2)}$

总结

在本次课程当中我们学习并了解到了机器学习的SVM支持向量机,让我们继续努力

相关学习链接

机器学习西瓜书
吴恩达老师最新机器学习视频