【统计学习方法】第7章 支持向量机

支持向量机（support vector machines，SVM）是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convex quadratic programming）的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化算法。

1、线性可分支持向量机与硬间隔最大化

线性可分支持向量机

假设给定一个特征空间上的训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } \begin{aligned} & T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\} \end{aligned} ​T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}​

其中， x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_{i} \in \mathcal{X} = R^{n}, y_{i} \in \mathcal{Y} = \left\{ +1, -1 \right\}, i = 1, 2, \cdots, N xi​∈X=Rn,yi​∈Y={+1,−1},i=1,2,⋯,N，$x_i$为第$i$个特征向量（实例），$y_i$为第$x_i$的类标记，当$y_i=+1$时，称$x_i$为正例；当$y_i=-1$时，称$x_i$为负例，$\left(x_i,y_i\right)$称为样本点。

分离超平面对应于方程$w.x+b=0$，它由法向量$w$和截距$b$决定，可用$(w,b)$来表示。

线性可分支持向量机（硬间隔支持向量机）：给定线性可分训练数据集，通过间隔最大化或等价地求解相应地凸二次规划问题学习得到分离超平面为$$\begin{array}{rl}& w^{\ast }\cdot x+b^{\ast }=0\end{array}$$

以及相应的分类决策函数$$\begin{array}{rl}& f\left(x\right)=sign\left(w^{\ast }\cdot x+b^{\ast }\right)\end{array}$$

称为线型可分支持向量机。

函数间隔和几何间隔

对于给定的训练数据集T和超平面$(w,b)$，定义超平面$\left(w,b\right)$关于样本点$\left(x_i,y_i\right)$的函数间隔为$$\begin{array}{rl}& {\hat{\gamma }}_i=y_i\left(w\cdot x_i+b\right)\end{array}$$

超平面$\left(w,b\right)$关于训练集$T$的函数间隔$$\begin{array}{rl}& \hat{\gamma }=\underset{i=1,2,\cdots ,N}{\min }{\hat{\gamma }}_i\end{array}$$

即超平面$\left(w,b\right)$关于训练集$T$中所有样本点$\left(x_i,y_i\right)$的函数间隔的最小值。

超平面$\left(w,b\right)$关于样本点$\left(x_i,y_i\right)$的几何间隔为$$\begin{array}{rl}& {\gamma }_i=y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)\end{array}$$

超平面$\left(w,b\right)$关于训练集$T$的几何间隔$$\begin{array}{rl}& \gamma =\underset{i=1,2,\cdots ,N}{\min }{\gamma }_i\end{array}$$

即超平面$\left(w,b\right)$关于训练集$T$中所有样本点$\left(x_i,y_i\right)$的几何间隔的最小值。

函数间隔和几何间隔的关系$$\begin{array}{rl}& {\gamma }_i=\frac{{\hat{\gamma }}_i}{\Vert w\Vert }\\ & \gamma =\frac{\hat{\gamma }}{\Vert w\Vert }\end{array}$$

间隔最大化

最大间隔分离超平面等价为求解$$\begin{array}{rl}& \underset{w,b}{\max }\gamma \\ & s.t.y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)\ge \gamma ,i=1,2,\cdots ,N\end{array}$$

等价的$$\begin{array}{rl}& \underset{w,b}{\max }\frac{\hat{\gamma }}{\Vert w\Vert }\\ & s.t.y_i\left(w\cdot x_i+b\right)\ge \hat{\gamma },i=1,2,\cdots ,N\end{array}$$

取$\hat{\gamma }=1$，将其入上面的最优化问题，注意到最大化$\frac{1}{\Vert w\Vert }$和最小化$\frac{1}{2}\Vert w{\Vert }^2$是等价的，

等价的$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2\\ & s.t.y_i\left(w\cdot x_i+b\right)-1\ge 0,i=1,2,\cdots ,N\end{array}$$

线性可分支持向量机学习算法（最大间隔法）：

• 输入：线性可分训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_{i} \in \mathcal{X} = R^{n}, y_{i} \in \mathcal{Y} = \left\{ +1, -1 \right\}, i = 1, 2, \cdots, N xi​∈X=Rn,yi​∈Y={+1,−1},i=1,2,⋯,N
• 输出：最大间隔分离超平面和分类决策函数

1. 构建并求解约束最优化问题$$\begin{array}{rl}& \\ & \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2\\ & s.t.y_i\left(w\cdot x_i+b\right)-1\ge 0,i=1,2,\cdots ,N\end{array}$$
   求得最优解$w^{\ast },b^{\ast }$。
2. 得到分离超平面$$\begin{array}{rl}& w^{\ast }\cdot x+b^{\ast }=0\end{array}$$

以及分类决策函数
$$\begin{array}{rl}& f\left(x\right)=sign\left(w^{\ast }\cdot x+b^{\ast }\right)\end{array}$$

支持向量和间隔边界

（硬间隔）支持向量：训练数据集的样本点中与分离超平面距离最近的样本点的实例，即使约束条件等号成立的样本点$$\begin{array}{rl}& y_i\left(w\cdot x_i+b\right)-1=0\end{array}$$

对$y_i=+1$的正例点，支持向量在超平面
$$\begin{array}{rl}& H_1:w\cdot x+b=1\end{array}$$

对$y_i=-1$的正例点，支持向量在超平面
$$\begin{array}{rl}& H_1:w\cdot x+b=-1\end{array}$$

$H_1$和$H_2$称为间隔边界，$H_1$和$H_2$上的点就是支持向量。

$H_1$和$H_2$之间的距离称为间隔，且$|H_1{H}_2|=\frac{1}{\Vert w\Vert }+\frac{1}{\Vert w\Vert }=\frac{2}{\Vert w\Vert }$。

2、线性支持向量机与软间隔最大化

线性支持向量机

线性支持向量机（软间隔支持向量机）：给定线性不可分训练数据集，通过求解凸二次规划问题
$$\begin{array}{rl}& \underset{w,b,\xi }{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i\\ & s.t.y_i\left(w\cdot x_i+b\right)\ge 1-{\xi }_i\\ & {\xi }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

学习得到分离超平面为$$\begin{array}{rl}& w^{\ast }\cdot x+b^{\ast }=0\end{array}$$

以及相应的分类决策函数$$\begin{array}{rl}& f\left(x\right)=sign\left(w^{\ast }\cdot x+b^{\ast }\right)\end{array}$$

称为线型支持向量机。

最优化问题的求解：

1. 引入拉格朗日乘子${\alpha }_i\ge 0,i=1,2,\cdots ,N$构建拉格朗日函数$$\begin{array}{rl}& L\left(w,b,\alpha \right)=\frac{1}{2}\Vert w{\Vert }^2+\sum _{i=1}^N{\alpha }_i\left[-y_i\left(w\cdot x_i+b\right)+1\right]\\ & =\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^N{\alpha }_i{y}_i\left(w\cdot x_i+b\right)+\sum _{i=1}^N{\alpha }_i\end{array}$$
   其中，$\alpha ={\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N\right)}^T$为拉格朗日乘子向量。

2. 求${\min }_{w,b}L\left(w,b,\alpha \right)$:$$\begin{array}{rl}& {\nabla }_{w}L\left(w,b,\alpha \right)=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ & {\nabla }_{b}L\left(w,b,\alpha \right)=-\sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$

   得
   $$\begin{array}{rl}& w＝\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ & \sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$

   代入拉格朗日函数，得$$\begin{array}{rl}& \\ & L\left(w,b,\alpha \right)=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i{y}_i\left[\left(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\right)\cdot x_i+b\right]+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i{y}_{i}b+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\end{array}$$
   即$$\begin{array}{rl}& \\ & \underset{w,b}{\min }L\left(w,b,\alpha \right)=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\end{array}$$

3. 求${\max }_{\alpha }{\min }_{w,b}L\left(w,b,\alpha \right)$:$$\begin{array}{rl}& \\ & \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$
   等价的$$\begin{array}{rl}& \\ & \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

线性可分支持向量机（硬间隔支持向量机）学习算法：

• 输入：线性可分训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_{i} \in \mathcal{X} = R^{n}, y_{i} \in \mathcal{Y} = \left\{ +1, -1 \right\}, i = 1, 2, \cdots, N xi​∈X=Rn,yi​∈Y={+1,−1},i=1,2,⋯,N
• 输出：最大间隔分离超平面和分类决策函数

1. 构建并求解约束最优化问题$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

   求得最优解$${\alpha }^{\ast }=\left({\alpha }_1^{\ast },{\alpha }_1^{\ast },\cdots ,{\alpha }_N^{\ast }\right)$$

2. 计算$$\begin{array}{rl}& w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\end{array}$$

   并选择${\alpha }^{\ast }$的一个正分量${\alpha }_j^{\ast }>0$，计算$$\begin{array}{rl}& b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x_i\cdot x_j\right)\end{array}$$

3. 得到分离超平面$$\begin{array}{rl}& w^{\ast }\cdot x+b^{\ast }=0\end{array}$$

   以及分类决策函数
   $$\begin{array}{rl}& f\left(x\right)=sign\left(w^{\ast }\cdot x+b^{\ast }\right)\end{array}$$

最优化问题的求解：

1. 引入拉格朗日乘子${\alpha }_i\ge 0,{\mu }_i\ge 0,i=1,2,\cdots ,N$构建拉格朗日函数$$\begin{array}{rl}& L\left(w,b,\xi ,\alpha ,\mu \right)=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\alpha }_i\left[-y_i\left(w\cdot x_i+b\right)+1-{\xi }_i\right]+\sum _{i=1}^N{\mu }_i\left(-{\xi }_i\right)\\ & =\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i\left[y_i\left(w\cdot x_i+b\right)-1+{\xi }_i\right]-\sum _{i=1}^N{\mu }_i{\xi }_i\end{array}$$

   其中，$\alpha ={\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N\right)}^T$以及$\mu ={\left({\mu }_1,{\mu }_2,\cdots ,{\mu }_N\right)}^T$为拉格朗日乘子向量。

2. 求${\min }_{w,b}L\left(w,b,\xi ,\alpha ,\mu \right)$:$$\begin{array}{rl}& {\nabla }_{w}L\left(w,b,\xi ,\alpha ,\mu \right)=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ & {\nabla }_{b}L\left(w,b,\xi ,\alpha ,\mu \right)=-\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\nabla }_{{\xi }_i}L\left(w,b,\xi ,\alpha ,\mu \right)=C-{\alpha }_i-{\mu }_i=0\end{array}$$

   得
   $$\begin{array}{rl}& w＝\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ & \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\end{array}$$

   代入拉格朗日函数，得$$\begin{array}{rl}& L\left(w,b,\xi ,\alpha ,\mu \right)=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i{y}_i\left[\left(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\right)\cdot x_i+b\right]\\ & +\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{\alpha }_i{\xi }_i-\sum _i^N{\mu }_i{\xi }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i{y}_{i}b+\sum _{i=1}^N{\alpha }_i+\sum _{i=1}^N{\xi }_i\left(C-{\alpha }_i-{\mu }_i\right)\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\end{array}$$

   即$$\begin{array}{rl}& \underset{w,b,\xi }{\min }L\left(w,b,\xi ,\alpha ,\mu \right)=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\end{array}$$

3. 求${\max }_{\alpha }{\min }_{w,b,\xi }L\left(w,b,\xi ,\alpha ,\mu \right)$:$$\begin{array}{rl}& \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\\ & {\alpha }_i\ge 0\\ & {\mu }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

等价的$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\cdots ,N\end{array}$$

线性支持向量机（软间隔支持向量机）学习算法：

• 输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_{i} \in \mathcal{X} = R^{n}, y_{i} \in \mathcal{Y} = \left\{ +1, -1 \right\}, i = 1, 2, \cdots, N xi​∈X=Rn,yi​∈Y={+1,−1},i=1,2,⋯,N
• 输出：最大间隔分离超平面和分类决策函数

1. 选择惩罚参数$C\ge 0$，构建并求解约束最优化问题$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\cdots ,N\end{array}$$

   求得最优解$${\alpha }^{\ast }=\left({\alpha }_1^{\ast },{\alpha }_1^{\ast },\cdots ,{\alpha }_N^{\ast }\right)$$

2. 计算$$\begin{array}{rl}& w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\end{array}$$

   并选择${\alpha }^{\ast }$的一个分量$0<{\alpha }_j^{\ast }<C$，计算$$\begin{array}{rl}& b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x_i\cdot x_j\right)\end{array}$$

3. 得到分离超平面$$\begin{array}{rl}& w^{\ast }\cdot x+b^{\ast }=0\end{array}$$

   以及分类决策函数
   $$\begin{array}{rl}& f\left(x\right)=sign\left(w^{\ast }\cdot x+b^{\ast }\right)\end{array}$$

支持向量

（软间隔）支持向量：线性不可分情况下，最优化问题的解$${\alpha }^{\ast }={\left({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }\right)}^T$$中对应于${\alpha }_i^{\ast }>0$的样本点$\left(x_i,y_i\right)$的实例$x_i$。

实例$x_i$的几何间隔$$\begin{array}{rl}& {\gamma }_i=\frac{y_i\left(w\cdot x_i+b\right)}{\Vert w\Vert }=\frac{|1-{\xi }_i|}{\Vert w\Vert }\end{array}$$

且$\frac{1}{2}|H_1{H}_2|=\frac{1}{\Vert w\Vert }$

则实例$x_i$到间隔边界的距离$$\begin{array}{rl}& \left|{\gamma }_i-\frac{1}{\Vert w\Vert }\right|=\left|\frac{|1-{\xi }_i|}{\Vert w\Vert }-\frac{1}{\Vert w\Vert }\right|=\frac{{\xi }_i}{\Vert w\Vert }\end{array}$$

$$\begin{array}{r}{\xi }_i\ge 0\iff \{\begin{array}{rl}& {\xi }_i=0,x_i在间隔边界上;\\ & 0<{\xi }_i<1,x_i在间隔边界与分离超平面之间;\\ & {\xi }_i=1,x_i在分离超平面上;\\ & {\xi }_i>1,x_i在分离超平面误分类一侧;\end{array}\end{array}$$

合页损失函数

线性支持向量机（软间隔）的合页损失函数$$\begin{array}{rl}& L\left(y\left(w\cdot x+b\right)\right)={\left[1-y\left(w\cdot x+b\right)\right]}_{+}\end{array}$$

其中，“＋”为取正函数$$\begin{array}{r}{\left[z\right]}_{+}=\{\begin{array}{rl}& z,z>0\\ & 0,z\le 0\end{array}\end{array}$$

3、非线性支持向量机与核函数

核函数

设$\mathcal{X}$是输入空间（欧氏空间$R^n$的子集或离散集合），$\mathcal{H}$是特征空间（希尔伯特空间），如果存在一个从$\mathcal{X}$到$\mathcal{H}$的映射$$\begin{array}{rl}& \varphi \left(x\right):\mathcal{X}\to \mathcal{H}\end{array}$$

使得对所有$x,z\in \mathcal{X}$，函数$K\left(x,z\right)$满足条件
$$\begin{array}{rl}& K\left(x,z\right)=\varphi \left(x\right)\cdot \varphi \left(z\right)\end{array}$$

则称$K\left(x,z\right)$为核函数，$\varphi \left(x\right)$为映射函数，式中$\varphi \left(x\right)\cdot \varphi \left(z\right)$为$\varphi \left(x\right)$和$\varphi \left(z\right)$的内积。

常用核函数

多项式核函数$$\begin{array}{rl}& K\left(x,z\right)={\left(x\cdot z+1\right)}^p\end{array}$$

高斯核函数
$$\begin{array}{rl}& K\left(x,z\right)=\exp \left(-\frac{\Vert x-z{\Vert }^2}{2{\sigma }^2}\right)\end{array}$$

非线性支持向量分类机

非线性支持向量机：从非线性分类训练集，通过核函数与软间隔最大化，学习得到分类决策函数
$$\begin{array}{rl}& f\left(x\right)=sign\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K\left(x,x_i\right)+b^{\ast }\right)\end{array}$$

称为非线性支持向量机，$K\left(x,z\right)$是正定核函数。

非线性支持向量机学习算法：

• 输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_{i} \in \mathcal{X} = R^{n}, y_{i} \in \mathcal{Y} = \left\{ +1, -1 \right\}, i = 1, 2, \cdots, N xi​∈X=Rn,yi​∈Y={+1,−1},i=1,2,⋯,N
• 输出：分类决策函数

1. 选择适当的核函数$K\left(x,z\right)$和惩罚参数$C\ge 0$，构建并求解约束最优化问题$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K\left(x_i,x_j\right)-\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\cdots ,N\end{array}$$
   求得最优解$${\alpha }^{\ast }=\left({\alpha }_1^{\ast },{\alpha }_1^{\ast },\cdots ,{\alpha }_N^{\ast }\right)$$
2. 计算$$\begin{array}{rl}& \\ & w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\end{array}$$
   并选择${\alpha }^{\ast }$的一个分量$0<{\alpha }_j^{\ast }<C$，计算$$\begin{array}{rl}& \\ & b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K\left(x_i,x_j\right)\end{array}$$
3. 得到分离超平面$$\begin{array}{rl}& \\ & w^{\ast }\cdot x+b^{\ast }=0\end{array}$$
   以及分类决策函数
   $$\begin{array}{rl}& \\ & f\left(x\right)=sign\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K\left(x_i,x_j\right)+b^{\ast }\right)\end{array}$$

4、序列最小最优化算法

本节讨论支持向量机学习的实现问题。我们知道，支持向量机的学习问题可以形式化为求解凸二次规划问题。这样的凸二次规划问题具有全局最优解，并且有许多最优化算法可以用于这一问题的求解。但是当训练样本容量很大时，这些算法往往变得非常低效，以致无法使用。

两个变量二次规划的求解方法

序列最小最优化（sequential minimal optimization，SMO）算法 要解如下凸二次规划的对偶问题：
$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K\left(x_i,x_j\right)-\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\cdots ,N\end{array}$$

选择${\alpha }_1,{\alpha }_2$两个变量，其他变量${\alpha }_i\left(i=3,4,\cdots ,N\right)$是固定的，SMO的最优化问题的子问题
$$\begin{array}{rl}& \underset{{\alpha }_1,{\alpha }_2}{\min }W\left({\alpha }_1,{\alpha }_2\right)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2\\ & -\left({\alpha }_1+{\alpha }_2\right)+y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i2}\\ & s.t.{\alpha }_1+{\alpha }_2=-\sum _{i=3}^N{\alpha }_i{y}_i=\varsigma \\ & 0\le {\alpha }_i\le C,i=1,2\end{array}$$

其中，$K_{ij}=K\left(x_i,x_j\right),i,j=1,2,\cdots ,N,\varsigma$是常数，且省略了不含${\alpha }_1,{\alpha }_2$的常数项。

设凸二次规划的对偶问题的初始可行解为${\alpha }_1^{old},{\alpha }_2^{old}$，最优解为${\alpha }_1^{new},{\alpha }_2^{new}$，且在沿着约束方向未经剪辑时${\alpha }_2$的最优解为${\alpha }_2^{new,unc}$。

由于${\alpha }_2^{new}$需要满足$0\le {\alpha }_i\le C$，所以最优解${\alpha }_2^{new}$的取值范围需满足$$\begin{array}{rl}& L\le {\alpha }_2^{new}\le H\end{array}$$

其中，L与H是${\alpha }_2^{new}$所在的对角线段断点的界。
如果$y_1\ne y_2$，则
$$\begin{array}{rl}& L=\max \left(0,{\alpha }_2^{old}-{\alpha }_1^{old}\right),H=\min \left(C,C+{\alpha }_2^{old}-{\alpha }_1^{old}\right)\end{array}$$

如果$y_1=y_2$，则
$$\begin{array}{rl}& L=\max \left(0,{\alpha }_2^{old}+{\alpha }_1^{old}-C\right),H=\min \left(C,{\alpha }_2^{old}+{\alpha }_1^{old}\right)\end{array}$$

记$$\begin{array}{rl}& g\left(x\right)=\sum _{i=1}^N{\alpha }_i{y}_{i}K\left(x_i,x\right)+b\end{array}$$

令$$E_i=g\left(x_i\right)-y_i=\left(\sum _{j=1}^N{\alpha }_j{y}_{j}K\left(x_j,x_i\right)+b\right)-y_i,i=1,2$$

最优化问题
沿着约束方向未经剪辑时的解是

$$\begin{array}{rl}& {\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2\left(E_1-E_2\right)}{\eta }\end{array}$$

其中
$$\eta =K_{11}+K_{22}-2K_{12}={\Vert \Phi \left(x_1\right)-\Phi \left(x_2\right)\Vert }^2$$

$\Phi (x)$ 是输入空间到特征空间的映射, $E_i,i=1,2$ 。

经剪辑后$$\begin{array}{r}{\alpha }_2^{new}=\{\begin{array}{rlr}& H,{\alpha }_2^{new,unc}& gt;H\\ & {\alpha }_2^{new,unc},L\le {\alpha }_2^{new,unc}\le H& \\ & L,{\alpha }_2^{new,unc}& lt;L\end{array}\end{array}$$

由于$\varsigma ={\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2$及$\varsigma ={\alpha }_1^{new}{y}_1+{\alpha }_2^{new}{y}_2$
则$$\begin{array}{rl}& {\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2={\alpha }_1^{new}{y}_1+{\alpha }_2^{new}{y}_2\\ & {\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2\left({\alpha }_2^{old}-{\alpha }_2^{new}\right)\end{array}$$

证明：

引入$$v_i=\sum _{j=3}^N{\alpha }_j{y}_{j}K\left(x_i,x_j\right)=g\left(x_i\right)-\sum _{j=1}^2{\alpha }_j{y}_{j}K\left(x_i,x_j\right)-b,i=1,2$$

则目标函数$$\begin{array}{rlr}& W\left({\alpha }_1,{\alpha }_2\right)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2& -\left({\alpha }_1+{\alpha }_2\right)+y_1{v}_1{\alpha }_1+y_2{v}_2{\alpha }_2\end{array}$$

由于${\alpha }_1{y}_1=\varsigma ,y_i^2=1$，可将${\alpha }_1$表示为$$\begin{array}{rl}& \\ & {\alpha }_1=\left(\varsigma -y_2{\alpha }_2\right)y_1\end{array}$$
代入，得$$\begin{array}{rl}& W\left({\alpha }_2\right)=\frac{1}{2}{K}_{11}{\left[\left(\varsigma -y_2{\alpha }_2\right)y_1\right]}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}\left(\varsigma -y_2{\alpha }_2\right)y_1{\alpha }_2\\ & -\left[\left(\varsigma -y_2{\alpha }_2\right)y_1+{\alpha }_2\right]+y_1{v}_1\left(\varsigma -y_2{\alpha }_2\right)y_1+y_2{v}_2{\alpha }_2\\ & =\frac{1}{2}{K}_{11}{\left(\varsigma -y_2{\alpha }_2\right)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_2{K}_{12}\left(\varsigma -y_2{\alpha }_2\right){\alpha }_2\\ & -\left(\varsigma -y_2{\alpha }_2\right)y_1-{\alpha }_2+v_1\left(\varsigma -y_2{\alpha }_2\right)+y_2{v}_2{\alpha }_2\end{array}$$

对${\alpha }_2$求导$$\begin{array}{rl}& \frac{\partial W}{\partial {\alpha }_2}=K_{11}{\alpha }_2+K_{22}{\alpha }_2-2K_{12}{\alpha }_2\\ & -K_{11}\varsigma y_2+K_{12}\varsigma y_2+y_1{y}_2-1-v_1{y}_2+y_2{v}_2\end{array}$$
令其为0，得 $$\begin{gathered} \left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2=y_2\left(y_2-y_1+\varsigma K_{11}-\varsigma K_{12}+v_1-v_2\right) \\ =y_2\left[y_2-y_1+\varsigma K_{11}-\varsigma K_{12}+\left(g\left(x_1\right)-\sum _{j=1}^2{\alpha }_j{y}_j{K}_{1}j-b\right) \\ -\left(g\left(x_2\right)-\sum _{j=1}^2{\alpha }_j{y}_j{K}_{2}j-b\right)\right] \end{gathered}$$

将$\varsigma ={\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2$代入，得$$\begin{array}{rl}& \\ & \left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2^{new,unc}=y_2\left(\left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2^{old}{y}_2+y_2-y_1+g\left(x_1\right)-g\left(x_2\right)\right)\\ & =\left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2^{old}+y_2\left(E_1-E_2\right)\end{array}$$

令$\eta =K_{11}+K_{22}-2K_{12}$代入，得$$\begin{array}{rl}& \\ & {\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2\left(E_1-E_2\right)}{\eta }\end{array}$$

计算阈值$b$和差值$E_i$

由分量$0<{\alpha }_1^{new}<C$，则$$\begin{array}{rl}& b_1^{new}=y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}-{\alpha }_1^{new}{y}_1{K}_{11}-{\alpha }_2^{new}{y}_2{K}_{21}\end{array}$$

由$$\begin{array}{rl}& E_1=g\left(x_1\right)-y_1=\left(\sum _{j=1}^N{\alpha }_j{y}_j{K}_{ij}+b\right)-y_1\\ & =\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}+{\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{21}+b^{old}-y_1\end{array}$$

则$$\begin{array}{rl}& y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}=-E_1+{\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{21}+b^{old}\end{array}$$

代入，得$$\begin{array}{rl}& b_1^{new}=-E_1+y_1{K}_{11}\left({\alpha }_1^{new}-{\alpha }_1^{old}\right)-y_2{K}_{21}\left({\alpha }_2^{new}-{\alpha }_2^{old}\right)+b^{old}\end{array}$$

同理，得$$\begin{array}{rl}& \\ & b_2^{new}=-E_2+y_1{K}_{12}\left({\alpha }_1^{new}-{\alpha }_1^{old}\right)-y_2{K}_{22}\left({\alpha }_2^{new}-{\alpha }_2^{old}\right)+b^{old}\end{array}$$

如果${\alpha }_1^{new},{\alpha }_2^{new}$满足$0<{\alpha }_i^{new}<C,i=1,2$，
则
$$\begin{array}{rl}& b^{new}=b_1^{new}=b_2^{new}\end{array}$$

否则$$\begin{array}{rl}& b^{new}=\frac{b_1^{new}+b_2^{new}}{2}\end{array}$$

更新$E_i$
$$\begin{array}{rl}& E_i^{new}=\sum _S{y}_j{\alpha }_j{K}_{\left(x_i,x_j\right)}+b^{new}-y_i\end{array}$$

其中，$S$是所有支持向量$x_j$的集合。

SMO算法

SMO算法：

• 输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_{i} \in \mathcal{X} = R^{n}, y_{i} \in \mathcal{Y} = \left\{ +1, -1 \right\}, i = 1, 2, \cdots, N xi​∈X=Rn,yi​∈Y={+1,−1},i=1,2,⋯,N，精度$\epsilon$；
• 输出：近似解$\hat{\alpha }$

1. 取初始值${\alpha }^0=0$，令$k=0$；
2. 选取优化变量${\alpha }_1^{\left(k\right)},{\alpha }_2^{\left(k\right)}$，求解$$\begin{array}{rl}& \\ & \underset{{\alpha }_1,{\alpha }_2}{\min }W\left({\alpha }_1,{\alpha }_2\right)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2\\ & -\left({\alpha }_1+{\alpha }_2\right)+y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i2}\\ & s.t.{\alpha }_1+{\alpha }_2=-\sum _{i=3}^N{\alpha }_i{y}_i=\varsigma \\ & 0\le {\alpha }_i\le C,i=1,2\end{array}$$
   求得最优解${\alpha }_1^{\left(k＋1\right)},{\alpha }_2^{\left(k+1\right)}$，更新$\alpha$为${\alpha }^{\left(k+1\right)}$；
3. 若在精度$\epsilon$范围内满足停机条件 ∑ i = 1 N α i y i = 0 0 ≤ α i ≤ C , i = 1 , 2 , ⋯   , N y i ⋅ g ( x i ) = { ⩾ 1 , { x i ∣ α i = 0 } = 1 , { x i ∣ 0 < α i < C } ⩽ 1 , { x i ∣ α i = C } \begin{aligned} & \sum_{i=1}^{N} \alpha_{i} y_{i} = 0 \\ & 0 \leq \alpha_{i} \leq C, i = 1, 2, \cdots, N \\ & \end{aligned} \\ y_{i} \cdot g\left(x_{i}\right)=\left\{\begin{array}{ll} \geqslant 1, & \left\{x_{i} \mid \alpha_{i}=0\right\} \\ =1, & \left\{x_{i} \mid 0<\alpha_{i}<C\right\} \\ \leqslant 1, & \left\{x_{i} \mid \alpha_{i}=C\right\} \end{array}\right. ​i=1∑N​αi​yi​=00≤αi​≤C,i=1,2,⋯,N​yi​⋅g(xi​)=⎩⎨⎧​⩾1,=1,⩽1,​{xi​∣αi​=0}{xi​∣0<αi​<C}{xi​∣αi​=C}​则转4.；否则令$k=k+1$，转2.；
   4.取$\hat{\alpha }={\alpha }^{\left(k+1\right)}$。

5、概要总结

1．支持向量机最简单的情况是线性可分支持向量机，或硬间隔支持向量机。构建它的条件是训练数据线性可分。其学习策略是最大间隔法。可以表示为凸二次规划问题，其原始最优化问题为

$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2$$$$s.t.y_i\left(w\cdot x_i+b\right)-1⩾0,i=1,2,\cdots ,N$$
求得最优化问题的解为$w^{\ast }$，$b^{\ast }$，得到线性可分支持向量机，分离超平面是

$$w^{\ast }\cdot x+b^{\ast }=0$$
分类决策函数是

$$f(x)=\mathrm{sign}\left(w^{\ast }\cdot x+b^{\ast }\right)$$
最大间隔法中，函数间隔与几何间隔是重要的概念。

线性可分支持向量机的最优解存在且唯一。位于间隔边界上的实例点为支持向量。最优分离超平面由支持向量完全决定。 二次规划问题的对偶问题是$$\min \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i$$

$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$$${\alpha }_i⩾0,i=1,2,\cdots ,N$$
通常，通过求解对偶问题学习线性可分支持向量机，即首先求解对偶问题的最优值

$a^{\ast }$，然后求最优值$w^{\ast }$和$b^{\ast }$，得出分离超平面和分类决策函数。

2．现实中训练数据是线性可分的情形较少，训练数据往往是近似线性可分的，这时使用线性支持向量机，或软间隔支持向量机。线性支持向量机是最基本的支持向量机。

对于噪声或例外，通过引入松弛变量${\xi }_{\mathrm{i}}$，使其“可分”，得到线性支持向量机学习的凸二次规划问题，其原始最优化问题是

$$\underset{w,b,\xi }{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i$$$$s.t.y_i\left(w\cdot x_i+b\right)⩾1-{\xi }_i,i=1,2,\cdots ,N$$$${\xi }_i⩾0,i=1,2,\cdots ,N$$
求解原始最优化问题的解$w^{\ast }$和$b^{\ast }$，得到线性支持向量机，其分离超平面为

$$w^{\ast }\cdot x+b^{\ast }=0$$
分类决策函数为

$$f(x)=\mathrm{sign}\left(w^{\ast }\cdot x+b^{\ast }\right)$$
线性可分支持向量机的解$w^{\ast }$唯一但$b^{\ast }$不唯一。对偶问题是

$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i$$$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$$$0⩽{\alpha }_i⩽C,i=1,2,\cdots ,N$$
线性支持向量机的对偶学习算法，首先求解对偶问题得到最优解${\alpha }^{\ast }$，然后求原始问题最优解$w^{\ast }$和$b^{\ast }$，得出分离超平面和分类决策函数。

对偶问题的解${\alpha }^{\ast }$中满${\alpha }_i^{\ast }>0$的实例点$x_i$称为支持向量。支持向量可在间隔边界上，也可在间隔边界与分离超平面之间，或者在分离超平面误分一侧。最优分离超平面由支持向量完全决定。

线性支持向量机学习等价于最小化二阶范数正则化的合页函数

$$\sum _{i=1}^N{\left[1-y_i\left(w\cdot x_i+b\right)\right]}_{+}+\lambda \Vert w{\Vert }^2$$

3．非线性支持向量机

对于输入空间中的非线性分类问题，可以通过非线性变换将它转化为某个高维特征空间中的线性分类问题，在高维特征空间中学习线性支持向量机。由于在线性支持向量机学习的对偶问题里，目标函数和分类决策函数都只涉及实例与实例之间的内积，所以不需要显式地指定非线性变换，而是用核函数来替换当中的内积。核函数表示，通过一个非线性转换后的两个实例间的内积。具体地，$K(x,z)$是一个核函数，或正定核，意味着存在一个从输入空间x到特征空间的映射$\mathcal{X}\to \mathcal{H}$，对任意$\mathcal{X}$，有

$$K(x,z)=\varphi (x)\cdot \varphi (z)$$

对称函数$K(x,z)$为正定核的充要条件如下：对任意$${\mathrm{x}}_{\mathrm{i}}\in \mathcal{X},\mathrm{i}=1,2,\dots ,\mathrm{m}$$，任意正整数$m$，对称函数$K(x,z)$对应的Gram矩阵是半正定的。

所以，在线性支持向量机学习的对偶问题中，用核函数$K(x,z)$替代内积，求解得到的就是非线性支持向量机

$$f(x)=\mathrm{sign}\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K\left(x,x_i\right)+b^{\ast }\right)$$

4．SMO算法

SMO算法是支持向量机学习的一种快速算法，其特点是不断地将原二次规划问题分解为只有两个变量的二次规划子问题，并对子问题进行解析求解，直到所有变量满足KKT条件为止。这样通过启发式的方法得到原二次规划问题的最优解。因为子问题有解析解，所以每次计算子问题都很快，虽然计算子问题次数很多，但在总体上还是高效的。