支持向量机SVM(1)-线性可分支持向量机

线性可分支持向量机

本文包括以下部分

• 1.支持向量机概述
• 2.线性可分支持向量机与硬间隔最大化
  - (2.1)基本定义
  - (2.2)函数间隔与几何间隔的关系
  - (2.3) 硬间隔最大化
  - (2.4) 支持向量和间隔边界
• 3. 对偶算法

1.支持向量机概述

支持向量机是一种二类分类模型.它的基本模型是定义在特征空间上的间隔最大的线性分类器。其学习策略是间隔最大化，可形式化为求解凸二次规划问题，也等价于正则化的合叶损失函数的最小化问题。
支持向量机学习方法包含构建由简至繁的模型，可分为线性可分支持向量机、线性支持向量机、非线性支持向量机。

• 线性可分支持向量机：当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器，又称为硬间隔支持向量机.
• 线性支持向量机：当训练数据近似线性可分时，通过软间隔最大化，也学习一个线性分类器，称为软间隔支持向量机.
• 非线性支持向量机：当训练数据不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机.

当输入空间为欧氏空间或离散集合，特征空间为希尔伯特空间时，核函数表示将输入从输入空间映射得到特征空间之间的内积，通过使用核函数可以学习非线性支持向量机，等价于隐式地在高维的特征空间中学习线性支持向量机，这样的方法称为核技巧。核方法是比支持向量机更为一般的机器学习方法。
本文按照上式思路首先记录线性可分支持向量机

2.线性可分支持向量机与硬间隔最大化

(2.1)基本定义
输入都由输入空间转换到特征空间，支持向量机的学习是在特征空间进行的。
假设给第一个特征空间上的训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={ (x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}其中 x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_{i} \in \mathcal{X}=\mathbf{R}^{n}, \quad y_{i} \in \mathcal{Y}=\{+1,-1\}, \quad i=1,2, \cdots, N xi​∈X=Rn,yi​∈Y={ +1,−1},i=1,2,⋯,N, $x_i$为第$i$个特征向量，也称为实例，$y_i$为$x_i$的类标记，当$y_i=+1$时，称$x_i$为正例；当时$y_i=-1$，称$x_i$为负例，$(x_i,y_i)$称为样本点.再假设训练数据集是线性可分的.
定义1（线性可分支持向量机）给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到分离超平面为
$$w^{\ast }\cdot x+b^{\ast }=0(1)$$以及相应的分类决策函数$$f(x)=\mathrm{sign}\left(w^{\ast }\cdot x+b^{\ast }\right)(2)$$称为线性可分支持向量机
定义2 (函数间隔) 对于给定的训练数据集$T$和超平面$(w,b)$,定义超平面$(w,b)$关于样本点$(x_i,y_i)$的函数间隔为$${\hat{\gamma }}_i=y_i\left(w\cdot x_i+b\right)(3)$$ 定义超平面$(w,b)$关于训练数据集$T$的函数间隔为超平面$(w,b)$关于中所有样本点$(x_i,y_i)$的函数间隔之最小值，即$$\hat{\gamma }=\underset{i=1,\cdots ,N}{\min }{\hat{\gamma }}_i(4)$$定义3 (几何间隔) 对于给定的训练数据集$T$和超平面$(w,b)$,定义超平面$(w,b)$关于样本点$(x_i,y_i)$的几何间隔为
$${\gamma }_i=y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)(5)$$定义超平面$(w,b)$关于训练数据集$T$的函数间隔为超平面$(w,b)$关于中所有样本点$(x_i,y_i)$的几何间隔之最小值，即$$\gamma =\underset{i=1,\cdots ,N}{\min }{\gamma }_i(6)$$下图为函数间隔与几何间隔示例:

上图给出了超平面$(w,b)$及其法向量$w$，点$A$表示某一实例$x_i$,其类标记$y_i=+1$，点$A$与超平面$(w,b)$的距离由线段$AB$给出，记作${\gamma }_i$,
$${\gamma }_i=\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }$$其中，$\Vert w\Vert$为$w$的$L_2$范数，这是点$A$在超平面正的一侧的情形，若点$A$在超平面负的一侧，那么有$${\gamma }_i=-\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)$$当样本点$(x_i,y_i)$被超平面$(w,b)$正确分类时，点$x_i$与超平面$(w,b)$的距离是$${\gamma }_i=y_i(\genfrac{}{}{0ex}{}{}{\Vert w\Vert }$$