Support Vector Machine（支持向量机）

线性可分支持向量机

线性可分问题： 可以在特征空间中找到一个分离的超平面$w^{T}x+b=0$将特征空间划分为正例和负例。通过分类决策函数$f(x)=sign(w^{T}x+b)$可以完美划分正负例

函数间隔和几何间隔

函数间隔：
$${\hat{\gamma }}_i=y_i(w^T{x}_i+b)$$

超平面关于训练数据集的函数间隔：
$$\hat{\gamma }=mi{n}_i{\hat{\gamma }}_i$$

comment:
如果将$w,b$同比例变化，则超平面不变，但是函数间隔会发生变化，因此对$w$加约束$\Vert w\Vert =1$,此时的函数间隔对应几何间隔

样本点距离：
$${\gamma }_i=y_i(\frac{w^T}{\Vert w\Vert }{x}_i+\frac{b}{\Vert w\Vert })$$

超平面关于训练数据集的几何间隔：
$$\gamma =mi{n}_i{\gamma }_i$$

间隔最大化

对训练数据集找到几何间隔最大的超平面对训练数据集进行分类，要将最难分的正负例分开，几何间隔代表这种分类的确信度
对应优化问题
$$\begin{gathered} ma{x}_{w,b}\gamma \\ s.t.y_i(\frac{w^T}{\Vert w\Vert }{x}_i+\frac{b}{\Vert w\Vert })\ge \gamma ,i=1,\cdots ,N \end{gathered}$$

也可以用函数间隔将上述问题进行改写
$$\begin{gathered} ma{x}_{w,b}\frac{\hat{\gamma }}{\Vert w\Vert } \\ s.t.y_i(w^T{x}_i+b)\ge \hat{\gamma },i=1,\cdots ,N \end{gathered}$$

函数间隔不影响以上问题的求解，因此固定函数间隔$\hat{\gamma }=1$
$$\begin{gathered} mi{n}_{w,b}\frac{1}{2}\Vert w{\Vert }^2 \\ s.t.y_i(w^T{x}_i+b)-1\ge 0,i=1,\cdots ,N \end{gathered}$$
以上可以得到一个凸二次规划问题

支持向量
在$w^{T}X+B=1\&-1$的点

对偶算法

对偶问题

原问题与对偶问题的关系

![在这里插入图片描述](https://img-blog.csdnimg.cn/20201220123205259.png#pic_center

线性支持向量机和软间隔最大化

现实中所有问题不一定都能够完全线性可分
可以引入一个松弛变量${\xi }_i\ge 0$
约束条件：
$$y_i(w\cdot x_i+b)\ge 1-{\xi }_i$$
目标函数：
$$\frac{1}{2}\Vert w{\Vert }^2+C\sum _i{\xi }_i$$
软间隔最大化问题：

合页损失函数（hinge loss function）

线性支持向量机等价于最小化以下目标函数
$$\sum _i[1-y_i(w\cdot x_i+b{)}_{+}]+\lambda \Vert w{\Vert }^2$$
其中$[x{]}_{+}=max(x,0)$
合页损失函数是0-1损失函数的上届，这里合页损失函数只有确信度足够高才是0

非线性支持向量机和核函数

非线性分类问题

如果能用$R^n$空间内的一个超曲面将正负例分开，那么称这个问题为非线性可分问题
基本想法：
通过一个非线性变换，将输入空间对应以个特征空间，使输入空间中的超曲面模型对应于特征空间中的超平面模型

核函数定义

如果存在一个从$X\to H$的映射：
$$\varphi (x):X\to H$$
使得对于所有的$x,z\in X$,函数$K(x,z)$满足条件
$$K(X,Z)=\varphi (x)\cdot \varphi (z)$$
则称$K(x,z)$为核函数，$\varphi (x)\cdot \varphi (z)$为$\varphi (x)$ 和$\varphi (z)$的内积
注：
（1）特征空间一般是高维的，甚至是无穷维的
（2）以上映射函数不是唯一的

核技巧在支持向量机中的应用

在对偶问题的目标函数，内积$x_i\cdot x_j$可以用核函数来代替$K(x_i,x_j)$代替，此时对偶问题的目标函数为
$$W(\alpha )=\frac{1}{2}\sum _i^N\sum _j^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}k(x_i,x_j)-\sum _i^N{\alpha }_i$$

同时分类决策函数的内积也用核函数代替
$f(x)=\mathrm{sign}\left({\sum }_i{\alpha }_i^{\ast }{y}_i\varphi \left(x_i\right)\cdot \varphi (x)+b^{\ast }\right)=\mathrm{sign}\left({\sum }_i{\alpha }_i^{\ast }{y}_{i}K\left(x_i,x\right)+b^{\ast }\right)$
因此不需要显式的定义特征空间和映射函数

正定核

正定核充要条件

定理1：
（正定核的充要条件）设$K：x\times x\to R$为对称函数，$K(X\cdot Z)$为正定核函数的充要条件是对于任意的$x_i\in X(i=1,\cdots ,m),K(x,z)$对应的Gram矩阵：$K=[K(x_i,x_j){]}_{m\times m}$是半正定矩阵

常用核函数

多项式核函数
$$k(x\cdot z)=(x\cdot z+1{)}^p$$

高斯核函数
$$k(x\cdot z)=exp(-\frac{\Vert x-z{\Vert }^2}{2{\sigma }^2})$$