支持向量机学习

线性可分支持向量机与硬间隔最大化

线性可分支持向量机

输入空间为欧式空间或离散集合，特征空间为 欧式空间 或者 希尔伯特空间。线性可分支持向量机、线性支持向量机及非线性支持向量机的输入都由输入空间转换到特征空间，支持向量机的学习是在特征空间进行的。
假设给定一个特征空间上的训练数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x n , y n ) } T = \{(x_1,y_1), (x_2,y_2), \ldots ,(x_n,y_n)\} T={(x1​,y1​),(x2​,y2​),…,(xn​,yn​)}
其中， x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , … , N x_i \in X = R^n,y_i \in Y=\{+1,-1\},i=1,2, \ldots ,N xi​∈X=Rn,yi​∈Y={+1,−1},i=1,2,…,N，$x_i$为第i个特征向量。$y_i$为$x_i$的类标记，当$y_i=+1$时，称$x_i$为正例；当$y_i=-1$时，称$x_i$为负例。
学习的目标是在特征空间中找到一个分离超平面，能将实例分到不同的类，分离超平面对应于方程$w\cdot x+b=0$，它由法向量w和截距b决定，可由(w, b)来表示。
线性可分支持向量机：给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为
$$w^{\ast }\cdot x+b^{\ast }=0$$
以及相应的分类决策函数
$$f\left(x\right)=sign\left(w^{\ast }\cdot x+b^{\ast }\right)$$
称为线性可分支持向量机。
线性可分支持向量机对应着将两类数据正确划分并且间隔最大的直线，如下图所示：

函数间隔和几何间隔

一个点距离分离超平面的远近$\left|w\cdot x+b\right|$可以表示分类预测的确信度，而$w\cdot x+b$的符号与标记$y$的符号是否一致能够表示分类的正确性，从而便有了函数间隔：
函数间隔：对于给定的训练数据集$T$和超平面$\left(w,b\right)$，定义超平面$\left(w,b\right)$关于样本点$\left(x_i,y_i\right)$的函数间隔为
$${\hat{\gamma }}_i=y_i\left(w\cdot x+b\right)$$
定义超平面关于训练数据集$T$的函数间隔为超平面$\left(w,b\right)$关于$T$中所有样本点$\left(x_i,y_i\right)$的函数间隔之最小值，即
$$\hat{\gamma }=\underset{i=1,\dots ,N}{\min }{\hat{\gamma }}_i$$
只有函数间隔不够，只要成比例地改变$w$和$b$，如改为$2w$和$2b$，超平面未变，但函数间隔却成为原来的2倍。因此，通过规范化$w$，$\Vert w\Vert$，使得间隔确定，便引入了几何间隔的概念。
几何间隔：对应给定的训练数据集$T$和超平面$\left(w,b\right)$，定义超平面$\left(w,b\right)$关于样本点$\left(x_i,y_i\right)$的几何间隔为
$${\gamma }_i=y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)$$
定义超平面$(w,b)$关于训练数据集$T$的几何间隔为超平面$(w,b)$关于$T$中所有样本点$\left(x_i,y_i\right)$的几何间隔之最小值，即
$$\gamma =\underset{i=1,\cdots ,N}{\min }{\gamma }_i$$

间隔最大化

支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据集进行分类。

最大间隔分离超平面

最大间隔分离超平面可以表述为下面的约束最优化问题：
$$\begin{array}{ll}{\max }_{w,b}& \gamma \\ s.t.& y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)⩾\gamma ,i=1,2,\cdots ,N\end{array}$$
考虑几何间隔和函数间隔的关系，可将问题改写为：
$$\begin{array}{ll}{\max }_{w,b}& \frac{\hat{\gamma }}{\Vert w\Vert }\\ s.t.& y_i\left(w\cdot x_i+b\right)⩾\hat{\gamma },i=1,2,\cdots ,N\end{array}$$
函数间隔$\hat{\gamma }$的取值不影响最优化问题的解。假设将$w$和$b$按比例改变为$\lambda w$和$\lambda b$，则函数间隔变为$\lambda \hat{\gamma }$。因此，可以取$\hat{\gamma }=1$，注意到最大化$\frac{1}{\Vert w\Vert }$和最小化$\frac{1}{2}{\Vert w\Vert }^2$是等价地，于是便得到：
线性可分支持向量机学习算法——最大间隔法
输入：线性可分训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x n , y n ) } T=\{(x_1,y_1),(x_2,y_2), \cdots , (x_n,y_n)\} T={(x1​,y1​),(x2​,y2​),⋯,(xn​,yn​)}，其中，$x_i\in \mathrm{X}=R^n$， y i ∈ Y = { + 1 , − 1 } y_i \in Y=\{+1,-1\} yi​∈Y={+1,−1}，$i=1,2,\cdots ,N$；
输出：最大间隔分离超平面和分类决策函数。
（1）构造并求解约束最优化问题：
$$\begin{array}{ll}{\min }_{w,b}& \frac{1}{2}{\Vert w\Vert }^2\\ s.t.& y_i(w\cdot x+b)-1⩾0,i=1,2,\cdots ,N\end{array}$$
求得最优解$w^{\ast }$，$b^{\ast }$。
（2）由此得到分离超平面：
$$w^{\ast }\cdot x+b^{\ast }=0$$
分类决策函数
$$f(x)=\text{sign}(w^{\ast }\cdot x+b^{\ast })$$
线性可分训练数据集的最大间隔分离超平面存在且唯一。

支持向量和间隔边界

在线性可分情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量，支持向量是使约束条件$y_i(w\cdot x_i+b)-1=0$等号成立的点。
从图中可以看到，在决定分离超平面时只有支持向量起作用，如果移动支持向量将改变所求的解；但是间隔边界以外移动其他实例点，甚至去掉这些点，解是不会改变的。所以，支持向量机由很少的“重要的”训练样本确定。

学习的对偶算法

根据前面的约束最优化问题，构建拉格朗日函数，引进拉格朗日乘子${\alpha }_i\ge 0$，$i=1,2,\cdots ,N$，定义拉格朗日函数：
$$L\left(w,b,\alpha \right)=\frac{1}{2}{\Vert w\Vert }^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i$$根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L\left(w,b,\alpha \right)$$
在线性可分情况下，原始最优化问题和对偶最优化问题的最优值相等，所以存在$w^{\ast }$，${\alpha }^{\ast }$，$b^{\ast }$，使$w^{\ast },b^{\ast }$是原始问题的解，${\alpha }^{\ast }$是对偶问题的解。
线性可分支持向量机学习算法：
输入：线性可分训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2), \cdots , (x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , ⋯   , N x_i \in X=R^n, y_i \in Y = \{-1,+1\},i=1,2, \cdots ,N xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,⋯,N；
输出：分离超平面和分离决策函数
（1）构造并求解约束最优化问题
$$\begin{array}{ll}{\min }_{\alpha }& \frac{1}{2}{\Vert w\Vert }^2\\ s.t.& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,,i=1,2,\cdots ,N\end{array}$$求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$。
（2）计算
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$并选择${\alpha }^{\ast }$的一个正分量${\alpha }_j^{\ast }\ge 0$，计算
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$（3）求得分离超平面
$$w^{\ast }\cdot x+b^{\ast }=0$$分类决策函数：
$$f\left(x\right)=sign(w^{\ast }\cdot x+b^{\ast })$$
支持向量：将训练数据中对应${\alpha }_i^{\ast }\ge 0$的样本点$(x_i,y_i)$的实例$x_i\in R^{\ast }$称为支持向量。
由KKT的对偶互补条件${\alpha }_i^{\ast }(y_i(w^{\ast }\cdot x_i+b^{\ast })-1)=0,i=1,2,\cdots ,N$，对应${\alpha }_i^{\ast }\ge 0$的实例$x_i$，有
$$y_i(w^{\ast }\cdot x_i+b^{\ast })-1=0$$即$x_i$一定在间隔边界上。

线性支持向量机与软间隔最大化

线性支持向量机

线性可分问题的支持向量机学习方法，不适用线性不可分问题，因为不可分意味着不等式约束$y_i(w\cdot x+b)\ge 1$并不能都成立。怎么修改才能适用线性不可分情况？可以修改硬间隔最大化，使其成为软间隔最大化。
线性不可分意味着某些样本点$(x_i,y_i)$不能满足不等式约束。为了解决这个问题，可以对每个样本点$(x_i,y_i)$引进一个松弛变量${\xi }_i\ge 0$，使函数间隔加上松弛变量大于等于1。这样，约束条件变为
$$y_i(w\cdot x_i+b)\ge 1-{\xi }_i$$同时，对每个松弛变量${\xi }_i$，支付代价${\xi }_i$。目标函数由原来的$\frac{1}{2}{\Vert w\Vert }^2$变成
$$\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i=1}^N{\xi }_i$$这里，$C>0$为惩罚参数，$C$值大时对误分类的惩罚增大，$C$值小时对误分类的惩罚减小。最小化目标函数包含两层含义：使$\frac{1}{2}{\Vert w\Vert }^2$尽量小即间隔尽量大，同时使误分类点的个数尽量小，$C$是调和二者的系数。
线性支持向量机：对应给定的线性不可分的训练数据集，通过求解凸二次规划问题，即软间隔最大化问题，得到的分离超平面为
$$w^{\ast }\cdot x+b^{\ast }=0$$以及相应的分类决策函数
$$f\left(x\right)=sign(w^{\ast }\cdot x+b^{\ast })$$
线性支持向量机学习算法：
输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2), \cdots , (x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中， x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } ,   i = 1 , 2 , ⋯   , N x_i \in X=R^n, y_i \in Y = \{+1,-1\}, \, i=1,2, \cdots ,N xi​∈X=Rn,yi​∈Y={+1,−1},i=1,2,⋯,N；
输出：分离超平面和分类决策函数
（1）选择惩罚参数$C>0$，构造并求解凸二次规划问题
$$\begin{array}{ll}{\min }_{\alpha }& \frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-{\sum }_{i=1}^N{\alpha }_i\\ s.t.& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,,i=1,2,\cdots ,N\end{array}$$求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$。
（2）计算$w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$
选择${\alpha }^{\ast }$的一个分量${\alpha }_j^{\ast }$适合条件$0<\alpha <C$，计算
$$b^{\ast }=y_j-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }(x_i\cdot x_j)$$（3）求得分离超平面
$$w^{\ast }\cdot x+b^{\ast }=0$$分类决策函数：
$$f\left(x\right)=sign(w^{\ast }\cdot x+b^{\ast })$$

支持向量

在求解最优化问题的过程中，${\alpha }_i$、$C$、${\xi }_i$、${\mu }_i$之间有如下关系：
$$\begin{array}{l}C-{\alpha }_i-{\mu }_i=0\\ {\mu }_i{\xi }_i=0\\ {\alpha }_i(y_i(w\cdot x_i+b)-1+{\xi }_i)=0\end{array}$$在线性不可分的情况下，对应于${\alpha }_i^{\ast }>0$的样本点$(x_i,y_i)$的实例$x_i$称为支持向量。
软间隔的支持向量，或者在间隔边界上，或者在间隔边界与分离超平面之间，或者在分离超平面误分类一侧。
根据上面的关系：
若${\alpha }_i<C$，则${\xi }_i=0$，支持向量$x_i$落在间隔边界上；
若${\alpha }_i=C$，$0<{\xi }_i<1$，则分类正确，支持向量$x_i$落在间隔边界与分离超平面之间；
若${\alpha }_i=C$，${\xi }_i=1$，则$x_i$落在分离超平面上；
若${\alpha }_i=C$，${\xi }_i>1$，则$x_i$位于超平面误分一侧。

合页损失函数

线性支持向量机学习还有另外一个解释，就是最小化以下目标函数：
$$\sum _{i=1}^N{\left[1-y_i(w\cdot x_i+b)\right]}_{+}+\lambda {\Vert w\Vert }^2$$线性支持向量机原始最优化问题：
$$\begin{array}{ll}{\min }_{w,b,\xi }& \frac{1}{2}{\Vert w\Vert }^2+C{\sum }_{i=1}^N{\xi }_i\\ s.t.& y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N\\ & {\xi }_i\ge 0,i=1,2,\cdots ,N\end{array}$$等价于最优化问题
$$\underset{w,b}{\min }\sum _{i=1}^N{\left[1-y_i(w\cdot x_i+b)\right]}_{+}+\lambda {\Vert w\Vert }^2$$合页损失函数，横轴是函数间隔$y(w\cdot x+b)$，纵轴是损失。由于函数形状像一个合页，故名合页损失函数。

非线性支持向量机与核函数

核技巧

对给定训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ &ThinSpace; , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2), \cdots , (x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中，实例$x_i$属于输入空间，$x_i\in X=R^n$，对应的标记有两类 y i ∈ Y = { + 1 , − 1 } y_i \in Y = \{+1,-1\} yi​∈Y={+1,−1}，$i=1,2,\cdots ,N$。如果能用$R^n$中的一个超曲面将正负例正确分开，则称这个问题为非线性可分问题。
非线性问题不好解，所以希望能用线性分类问题的方法解决这个问题。采取的方法是进行一个非线性变换，将非线性问题转换为线性问题来求解。
核函数：设$X$是输入空间（欧式空间$R^n$的子集或离散集合），又设$H$为特征空间（希尔伯特空间），如果存在一个从$X$到$H$的映射
$$\varphi \left(x\right):X\to H$$使得对所以$x,z\in X$，函数$K(x,z)$满足条件
$$K(x,z)=\varphi (x)\cdot \varphi (z)$$则称$K(x,z)$为核函数，$\varphi (x)$为映射函数，式中$\varphi (x)\cdot \varphi (z)$是$\varphi (x)$和$\varphi (z)$的内积。
我们注意到线性支持向量机中，无论是对偶问题的目标函数还是决策函数都只涉及输入实例与实例之间的内积$x_i\cdot x_j$。用核函数$K(x_i,x_j)=\varphi (x_i)\cdot \varphi (x_j)$代替，对偶问题的目标函数变为：
$$W(\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{i=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$分类决策函数变为：
$$f(x)=sign\left(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_i\varphi (x_i)\cdot \varphi (x)+b^{\ast }\right)=sign\left(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast }\right)$$这等价于经过映射函数$\varphi$将原来的输入空间变换到一个新的特征空间，将内积$x_i\cdot x_j$变换为$\varphi (x_i)\cdot \varphi (x_j)$，在新的特征空间里从训练样本中学习线性支持向量机。学习是隐式地在特征空间进行的，不需要定义特征空间和映射函数。在实际中，往往依赖领域知识直接选择核函数，核函数选择的有效性需要通过实验验证。
常用核函数：高斯核函数是比较常用的，其他还有多项式核函数、字符串核函数。
高斯核函数：
$$K(x,z)=exp\left(-\frac{{\Vert x-z\Vert }^2}{2{\delta }^2}\right)$$对应的支持向量机是高斯径向基函数分类器，在此情形下分类决策函数为：
$$f(x)=sign\left(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_{i}exp\left(-\frac{{\Vert x-x_i\Vert }^2}{2{\delta }^2}\right)+b^{\ast }\right)$$

非线性支持向量分类机

非线性支持向量机学习算法
输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ &ThinSpace; , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2), \cdots ,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中$x_i\in X=R^n$， y i ∈ Y = { + 1 , − 1 } y_i \in Y=\{+1,-1\} yi​∈Y={+1,−1}，$i=1,2,\cdots ,N$。
输出：分类决策函数。
（1）选取适当的核函数$K(x,z)$和适当的参数$C$，构造并求解最优化问题
$$\begin{array}{ll}{\min }_{\alpha }& \frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-{\sum }_{i=1}^N{\alpha }_i\\ s.t.& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\cdots ,N\end{array}$$求最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_1^{\ast },\cdots ,{\alpha }_N^{\ast })$。
（2）选择${\alpha }^{\ast }$的一个正分量$0<{\alpha }_j^{\ast }<C$，计算
$$b^{\ast }=y_i-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i\cdot x_j)$$（3）构造决策函数：
$$f(x)=sign\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x\cdot x_i)+b^{\ast }\right)$$

序列最小最优化算法

SMO(sequential minimal optimization)算法是一种启发式算法，其基本思路4是：如果所有变量的解都满足此最优化问题的KKT条件，
$$\begin{array}{l}{\alpha }_i=0⟺y_{i}g(x_i)⩾1\\ 0<{\alpha }_i<C⟺y_{i}g(x_i)=1\\ {\alpha }_i=C⟺y_{i}g(x_i)⩽1\end{array}$$其中，$g(x_i)={\sum }_{j=1}^N{\alpha }_i{y}_{i}K(x_i,x_j)+b$，那么这个最优化问题的解就得到。选择两个变量，固定其他变量，针对这两个变量构建一个二次规划问题。这个二次规划问题关于这两个变量的解应该更接近原始二次规划问题的解，且可以通过解析方法求解，大大提高整个算法的计算速度。
子问题由两个变量，一个是违反KKT条件最严重的那一个，另一个由约束条件自动确定。
Plat SMO算法，有两层循环，外层循环用来选择第一个${\alpha }_i$值，使用两种方式交替进行：第一种，遍历整个数据集，另一种在$0<{\alpha }_i<C$中扫描。以此来查找第一个违反KKT条件最严重的${\alpha }_i$。
判断是否违反：

if ((oS.labelMat[i] * Ei < -oS.tol) and (oS.alphas[i] < oS.C)) or\
   ((oS.labelMat[i] * Ei > oS.tol) and (oS.alphas[i] < 0)):

内层循环，用来选择${\alpha }_j$，选择的目标是使$|E_i-E_j|$最大