机器学习（三）支持向量机

1、问题介绍

本文只涉及二分类支持向量机。

支持向量机问题可以分为三种情况来讨论：
1、硬间隔支持向量机：用于可以被一个超平面严格分开的问题中，又称为线性可分支持向量机
2、软间隔支持向量机：用于可以被一个超平面非严格分开的问题中，又称线性支持向量机
3、核支持向量机：用于可以被一个超曲面分开的问题中，又称非线性支持向量机

本文主要介绍硬间隔支持向量机。

所谓“可以被一个超平面严格分开”，以三维空间数据为例，就是如下图情况：

即可以找到一个分离超平面，将正负数据点分开。

假设我们有数据D={(x1,y1),(x2,y2),...,(xn,yn)},则x代表空间中的数据点，y代表该点的标签，它有两个取值，+1和-1。

我们要做的事就是找到一个如下分离超平面\[y\left( x\right) =\omega ^{T}\phi \left( x\right) +b\]这个分离超平面有如下两个特点：
1、它可以将所有的正负例点分开
2、在满足1的基础上，令所有点中，距离它距离最小的点的距离最大。

简单概括，就是找到一个分离超平面，使点到面的“最小距离最大化”。

我们的目标就是找到这个超平面的\(\omega\)和\(b\)。

2、目标函数分析

根据“最小距离最大化的”目标函数思想，可以写出支持向量机的目标函数如下式1：\[\max \left\{ \min _{i}\left[ \dfrac {y_{i}\left( w^{T}\phi \left( x\right) +b\right) }{\left\| w\right\| }\right] \right\} \]我们想要求的参数\(w\)与\(b\)可表述如下：\[ w,b=argmax_{w,b} \left\{ \min _{i}\left[ \dfrac {y_{i}\left( w^{T}\phi \left( x\right) +b\right) }{\left\| w\right\| }\right] \right\} \]

对于目标函数，即公式1，我们总可以认为\[\min _{i}y_{i}\left( w^{T}\phi \left( x\right) +b\right) =1\]因此目标问题转化为：
求\(w\)和\(b\),目标函数为 \[ \max _{w,b}\dfrac {1}{\left\| w\right\| }\]进行整理，最终成为如下约束最优化问题\[\min _{w,b}\dfrac {1}{2}\left\| w\right\| ^{2}\] \[s.t. \quad y_{i}\left( w^{T}\phi \left( x\right) +b\right) \geq1\]
对线性可分支持向量机而言，有\(\phi \left( x_{i}\right) =x_{i}\)
以下要用到约束最优化求解的知识。
根据拉格朗日乘子法，可写出该规划问题的拉格朗日表达式：\[L\left( w,b,\alpha \right) =\dfrac {1}{2}\left\| w\right\| ^{2}-\sum ^{n}_{i=1}\alpha _{i}\left( y_{i}\left( w^{T}\phi \left( x_{i}\right) +b\right) -1\right) \],其中\[a_{i}\geq0\]
因此有
1、原问题：求\[\min _{w,b}\dfrac {1}{2}\left\| w\right\| ^{2}\] （\(s.t. \quad y_{i}\left( w^{T}\phi \left( x\right) +b\right) \geq1\)）
2、转化为求\[\min _{w,b}\max _{\alpha }L\left( \omega ,b,\alpha \right) \]
3、根据拉格朗日对偶性，极小极大问题可以转化为极大极小问题。即转化为求公式2\[\max _{\alpha }\min _{W,b}L\left( \omega ,b,\alpha \right)\]

我们进行了一个如下过程的转换。（本文中\(W\)和\(w\)和\(\omega\)都表示一个东西，手写软件不太给力）
\[\min _{W,b}\dfrac {1}{2}\left\| w\right\| ^{2}\rightarrow \min _{w,b}\max _{\alpha }L\left( \omega ,b,\alpha \right) \rightarrow \max _{\alpha }\min _{W,b}L\left( \omega ,b,\alpha \right) \]

我们根据\(L\left( \omega ,b,\alpha \right)\)写出方程式\(\dfrac {\partial L}{\partial \omega }=0\)和\(\dfrac {\partial L}{\partial b }=0\),可求出\(\omega\)和\(b\)关于\(\alpha\)的表达式，回代到公式2，可以整理成为如下约束规划问题。\[\min _{\alpha }\dfrac {1}{2}\sum ^{n}_{i=1}\sum ^{n}_{j=1}\alpha _{i}\alpha _{j}y_{i}y_{j}\left( \phi \left( x_{i}\right) \phi \left( x_{j}\right) \right) -\sum ^{n}_{i=1}\alpha _{i}\]
\[S.t.\sum ^{n}_{i=1}\alpha _{i}y_{i}=0,\quad a_{i}\geq0\]
求出最优的\(\alpha\)，就可以求出\(\omega\)和\(b\)

3、线性支持向量机

对于不能被严格分开的正负样本点，我们只能期望找到一个分离超平面，尽可能地把它分开。如下图

可见，有些点是分错的，但我们允许这种错误。这种模型就是线性支持向量机，也称为软间隔支持向量机。仿照硬间隔支持向量机的格式，我们同样可以整理得到约束最优化问题如下：\[\min _{w,b,\xi}\dfrac {1}{2}\left\| w\right\| ^{2}+C\sum ^{n}_{i=1}\xi \] \[s.t. \quad y_{i}\left( w^{T}\phi \left( x\right) +b\right) \geq1-\xi_{i}\quad\xi_{i}\geq0\]
同理可整理出来拉格朗日形式的约束最优化问题如下：\[\min _{\alpha }\dfrac {1}{2}\sum ^{n}_{i=1}\sum ^{n}_{j=1}\alpha _{i}\alpha _{j}y_{i}y_{j}\left( \phi \left( x_{i}\right) \phi \left( x_{j}\right) \right) -\sum ^{n}_{i=1}\alpha _{i}\]
\[S.t.\sum ^{n}_{i=1}\alpha _{i}y_{i}=0,\quad0\leq a_{i}\leq C\]
对线性支持向量机而言，有\(\phi \left( x_{i}\right) =x_{i}\)

两个小tips

1、这个C的调参数：

a.调小 过渡带变宽，可以防止过拟合
b.调大 过渡带变窄，可以提高精度

2、损失函数

对于分错的点，有一个损失\(\xi\)(见上图),对于支持向量机来说，其损失函数为\[\xi=\xi_{1}+\xi_{2}+...+\xi_{n}\]该损失函数又称为“合页损失函数”。

4、核支持向量机

以上两种模型的优化函数中，都有\(\phi \left( x_{i}\right) =x_{I}\)，在核支持向量机中，有所不同。核支持向量机有不同的核，常用的是高斯核。核支持向量机和线性支持向量机的关系如下图：

在高斯核中，有
\[\phi \left( x_{i}\right) \phi \left( x_{j}\right) =exp\left( -\dfrac {\left\| x_{i}-x_{j}\right\| ^{2}}{2\sigma ^{2}}\right) \]

转载于:https://www.cnblogs.com/Yolanda7171/p/7242326.html