SVM

一、SVM

SVM可概括为：间隔、对偶、核方法。

1、数据

D a t a = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . ( x N , y N ) } Data=\{(x_1,y_1),(x_2,y_2),...(x_N,y_N)\} Data={(x1​,y1​),(x2​,y2​),...(xN​,yN​)}，两分类问题。

2、思想

最大间隔分类器：可能有多个分类器，寻找使得间隔最大的分类器。

3、模型

硬分类：$y=sgn(w^{T}x+b)$，为判别函数模型。
总体思想：
如何表示间隔$\Rightarrow$间隔$\Rightarrow$目标$maxmargin,s.t{y}_i(w^T{x}_i+b)>0,i=1,2,...,N$
$$\begin{gathered} \Rightarrow howtodefinemargin: \\ \Rightarrow margin(w,b)=\underset{i=1,2,...,N}{\min }distance(w,b,x_i) \\ =min\frac{1}{||w|{|}_2}|w^T{x}_i+b| \\ =min\frac{1}{||w|{|}_2}{y}_i(w^T{x}_i+b) \\ 可理解为margin为样本点到分类面中的最小的距离 \\ \Rightarrow maxmargin=max\underset{i=1,2,..,N}{\min }\frac{1}{||w|{|}_2}{y}_i(w^T{x}_i+b) \end{gathered}$$

$因为y_i(w^T{x}_i+b)>0,则存在r>0s.t{y}_i(w^T{x}_i+b)=r$

$\Rightarrow 因为w和b可等比例缩放$

$\Rightarrow 即系数不影响$

$\Rightarrow 所以总有w,bs.t{y}_i(w^T{x}_i+b)=1成立$

$\Rightarrow 即margin上的点s.t{y}_i(w^T{x}_i+b)=1，从几何看如图：$

$$\begin{gathered} 所以maxmargin=maxmin\frac{1}{||w|{|}^2}{y}_i(w^T{x}_i+b) \\ \Rightarrow =max\frac{2}{||w|{|}_2} \\ \Rightarrow =min\frac{1}{2}||w|{|}_2 \\ \Rightarrow 一般习惯进行求Min，因为很多规划问题的标准型为min， \\ 使用Min，则很多方法可以直接使用。 \end{gathered}$$

$$\begin{gathered} 所以SVM:y=sgn(w^{T}x+b) \\ \Rightarrow w的求解 \\ \Rightarrow min\frac{1}{2}||w|{|}_2^2 \\ \Rightarrow s.t{y}_i(w^T{x}_i+b)\ge 1 \\ \Rightarrow 根本就是可能存在多个分类器，目标是寻找到marginmax的 \end{gathered}$$

4、策略

目标：$$\begin{gathered} min\frac{1}{2}||w|{|}_2^2 \\ s.t{y}_i(w^T{x}_i+b)\ge 1 \end{gathered}$$

$\Rightarrow$凸二次优化，直接求解难

$\Rightarrow$低维可行，但在高维，特比是对非线性进行核方法时，空间可能是无穷维，所以不直接求解

$\Rightarrow$原问题难，使用对偶

$\Rightarrow$类似优化问题的一般求解思路：
有约束优化$\stackrel{Lagrange乘子法}{\to }$无约束的优化问题（无约束指的是对原来参数的无约束）$\stackrel{强对偶}{\to }$对偶问题$\Rightarrow bridge$

4.1有约束转化为无约束

使用Lagrange乘子法：
$y_i(w^T{x}_i+b)\ge 1\Rightarrow 1-y_i(w^T{x}_i+b)\le 1$

$\mathcal{L}(w,b,\alpha )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\alpha }_i(1-y_i(w^T{x}_i+b))，其中{\alpha }_i\ge 0$

看问题$\underset{w,b}{\min }\underset{w}{\max }\mathcal{L}(w,b,\alpha )，{\alpha }_i\ge 0\stackrel{?}{\iff }min\frac{1}{2}{w}^{T}ws.t{y}_i(w^T{x}_i+b)\ge 1$

判断是否等价的原因是：前者很容易写出对偶问题。

$当y_i(w^T{x}_i+b)<1时，1-y_i(w^T{x}_i+b)>0，则\underset{\alpha }{\max }\mathcal{L}(w,b,\alpha )=\infty$

$当y_i(w^T{x}_i+b)\ge 1时，1-y_i(w^T{x}_i+b)\le 0，则\underset{\alpha }{\max }\mathcal{L}(w,b,\alpha )=\frac{1}{2}{w}^{T}w$

$所以\underset{w,b}{\min }\underset{\alpha }{\max }\mathcal{L}(w,b,\alpha )=\underset{w,b}{\min }(\infty ,\frac{1}{2}{w}^{T}w)=\underset{w}{\min }\frac{1}{2}{w}^{T}w$
$其中蕴含了条件y_i(w^T{x}_I+b)\ge 1。$

所以上述两个问题时等价的，因此将有约束的问题转化为无约束问题。

4.2对偶

此时转化为无约束问题仍然是对w,b求解，难$\Rightarrow$对偶问题。
$\underset{w,b}{\min }\underset{\alpha }{max\mathcal{L}(w,b,\alpha )}的对偶问题为：\underset{\alpha }{\max }\underset{w,b}{\min }\mathcal{L}(w,b,\alpha )$

因为线性约束下的凸二次优化的对偶问题为强队偶，所以上述对偶问题的解就是原问题的解。

4.3求对偶问题

因为原问题是凸二次优化问题，所以该对偶问题为强对偶问题，所以KKT条件为充要条件，即直接使导数为0求得的解为全局最优解，并不是局部最优解。
对偶问题为：$\underset{\alpha }{\max }\underset{w,b}{\min }\mathcal{L}(w,b,\alpha )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\alpha }_i(1-y_i(w^T{x}_i+b))$

首先使用KKT条件求解$$\begin{gathered} \underset{w,b}{\min }\mathcal{L}(w,b,\alpha ) \\ \Rightarrow \frac{\partial \mathcal{L}(w,b,\alpha )}{\partial w}=-\sum _{i=1}^N{\alpha }_i{y}_i=0\Rightarrow \sum _{i=1}^N{\alpha }_i{y}_i=0 \\ \Rightarrow \frac{\partial \mathcal{L}(w,b,\alpha )}{\partial w}=w-\sum _{i=1}^N{\alpha }_i{x}_i{y}_i=0\Rightarrow w^{\ast }=\sum _{i=1}^N{\alpha }_i{x}_i{y}_i \end{gathered}$$
将上述结果带入$$\begin{gathered} \mathcal{L}(w,b,\alpha )中得到： \\ \Rightarrow \mathcal{L}(\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\alpha }_i \\ s.t{\alpha }_i\ge 0 \end{gathered}$$
问题转化为：
$\underset{\alpha }{\max }\mathcal{L}(\alpha ),s.t{\alpha }_i\ge 0$

再根据互补松弛条件：
${\alpha }_i(1-y_i(w^T{x}_i+b))=0\{\begin{array}{l}{y}_i(w^T{x}_i+b)>1\Rightarrow {\alpha }_i=0\\ y_i(w^T{x}_i+b)=1\Rightarrow {\alpha }_i\ge 0\end{array}$
找到某样本$x_k$其${\alpha }_k\ne 0，$则$y_k(w^T{x}_k+b)=1\Rightarrow b=y_k-w^T{x}_k$。
因为$w^{\ast }=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i，所以w只是由{\alpha }_i\ne 0$的样本组成，称这些样本为支持向量。

5、算法

（1）求解问题$$\begin{gathered} \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\alpha }_i \\ s.t{\alpha }_i\ge 0 \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$
（2）$w^{\ast }=\sum _{i=1}^N{\alpha }_i{x}_i{y}_i,b=y_k-w^{\ast }{x}_k=y_k-\sum _{i=1}^N{\alpha }_i{x}_i{y}_i{x}_k$

二、soft SVM

1、soft SVM

思想：因为数据有噪声，所以不需要严格分类，soft svm即允许一点点错误，从loss function看：
$$\begin{gathered} lossfunction=\sum _{i=1}^{N}I(y_i(w^T{x}_i+b))<1，不连续 \\ \Rightarrow lossfunction为距离 \\ \Rightarrow lossfunction=\{\begin{array}{l}if{y}_i(w^T{x}_i+b)\ge 1\Rightarrow loss=0\\ if{y}_i(w^T{x}_i+b)<1\Rightarrow loss=1-y_i(w^T{x}_i+b)\end{array} \end{gathered}$$

$$\begin{gathered} \Rightarrow hingelossfunction \\ \Rightarrow 则{\xi }_i=1-y_i(w^T{x}_i+b) \\ \Rightarrow softSVM \\ \Rightarrow min\frac{1}{2}{w}^{T}w+C\sum _{i=1}^N{\xi }_i(C\ge 0) \\ s.t{y}_i(w^T{x}_i+b)\ge 1-{\xi }_i \\ {\xi }_i\ge 0 \end{gathered}$$

$$\begin{gathered} \Rightarrow 对偶问题 \\ \Rightarrow max-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\alpha }_i \\ s.t{\sum }_{i=1}^N{\alpha }_i{y}_i=0(KKT，对b求导) \\ {\alpha }_i,{\beta }_i\ge 0(Lagrange乘子法系数要求) \\ {\alpha }_i+{\beta }_i=C(KKT,对{\xi }_i求导) \end{gathered}$$

$从几何理解{\xi }_i(这里考虑正样本，负样本类似):$

$点x_i到直线w^{T}x+b=1的距离d为：\frac{|w^T{x}_i+b-1|}{\sqrt{w}}$

$对于SVM中有loss的样本点y_i(w^T{x}_i+b)<1，即d=\frac{1-(w^T{x}_i+b)}{\sqrt{w}}$

$$\begin{gathered} 因为y_i(w^T{x}_i+b)\ge 1-{\xi }_i\Rightarrow 1-y_i(w^T{x}_i+b)\le {\xi }_i \\ \Rightarrow d\le \frac{{\xi }_i}{\sqrt{w}} \\ \Rightarrow d与{\xi }_i成正比 \\ \Rightarrow 可将{\xi }_i理解为样本到margin的距离 \end{gathered}$$

2、softSVM vs hardSVM

	hard SVM	soft SVM
思想	在多个可能的解中找到s.t margin max的	允许一点点错误
原问题	$$\begin{gathered} min\frac{1}{2}{w}^{T}w \\ s.t{y}_i(w^T{x}_i+b)\ge 1 \end{gathered}$$	$$\begin{gathered} min\frac{1}{2}{w}^{T}w+C\sum _{i=1}^N{\xi }_i \\ s.t{y}_i(w^T{x}_i+b)\ge 1-{\xi }_i \\ {\xi }_i\ge 0 \end{gathered}$$
无约束问题	$$\begin{gathered} \underset{w,b}{\min }\underset{\alpha }{\max }\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\alpha }_i(1-y_i(w^T{x}_i+b)) \\ s.t{\alpha }_i\ge 0 \end{gathered}$$	$$\begin{gathered} \underset{w,b}{\min }\underset{\alpha ,\beta }{\max }\frac{1}{2}{w}^{T}w+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\alpha }_i(1-{\xi }_i-y_i(w^T{x}_i+b))-\sum _{i=1}^N{\beta }_i{\xi }_i \\ {\alpha }_i,{\beta }_{\ge }0 \end{gathered}$$
对偶问题	$$\begin{gathered} \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\alpha }_i \\ s.t{\alpha }_i\ge 0 \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$	$$\begin{gathered} \underset{\alpha ,\beta }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\alpha }_i \\ s.t{\alpha }_i,{\beta }_i\ge 0(Lagrange) \\ \sum _{i=1}^N{\alpha }_i{y}_i=0(KKT,\frac{\partial L}{\partial b}) \\ {\alpha }_i+{\beta }_i=C(KKT,\frac{\partial L}{\partial \xi }) \end{gathered}$$
问题求解	$$\begin{gathered} w^{\ast }=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ b=y_k-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i{x}_k \end{gathered}$$	$$\begin{gathered} w^{\ast }=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ 0<{\alpha }_k<C\Rightarrow b=y_k-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i{x}_k \end{gathered}$$
几何解释		各标号的意义：(1):$$\begin{gathered} y_i(w^T{x}_i+b)>1,loss=0\Rightarrow {\xi }_i=0,{\alpha }_i=0 \\ \Rightarrow {\beta }_i=C \\ (2):y_i(w^T{x}_i+b)=1,loss=0\Rightarrow {\xi }_i=0,{\alpha }_i>0 \\ \Rightarrow {\beta }_i>0 \\ \Rightarrow 0<{\alpha }_i<C(supportvector) \\ (3):0<y_i(w^T{x}_i+b)<1,loss>0 \\ \Rightarrow 1>{\xi }_i>0 \\ \Rightarrow {\beta }_i=0 \\ \Rightarrow {\alpha }_i=C \\ (4)(5):y_i(w^T{x}_i+b)<0,loss>1 \\ \Rightarrow {\xi }_i>1 \\ \Rightarrow {\beta }_i=0 \\ \Rightarrow {\alpha }_i=C \\ softSVM中{\xi }_i为Loss,可理解为1-y_i(w^T{x}_i+b) \end{gathered}$$

3、C & margin大小

3.1从margin与loss的关系看

margin越大，分得越严格，越容易产生loss。
（1）$$\begin{gathered} C小\Rightarrow 大margin \\ \Rightarrow 小C \\ \Rightarrow {\xi }_i大，即可以忍受较大的loss，即可以分得严格些也行，即margin要大。 \end{gathered}$$
（2）$$\begin{gathered} C大\Rightarrow 小margin \\ \Rightarrow 大C \\ \Rightarrow {\xi }_{小}，即可以忍受的loss小，分得松一些，margin小。 \end{gathered}$$

3.2从几何看

从几何看，若分类面为$$\begin{gathered} y(w^{T}x+b)=1-\xi \\ \Rightarrow margin,两线=\{\begin{array}{l}{w}^{T}x+b=1-\xi \\ w^{T}x+b=-(1-\xi )\end{array} \\ \Rightarrow margin=\frac{|2-2\xi |}{\sqrt{w}} \\ \Rightarrow 因为\xi >0，即可取\xi >1 \\ \Rightarrow \{\begin{array}{l}C大,\xi 小，则可能\xi <1，则margin小\\ C小,\xi 大，则可能\xi >1，则margin大\end{array} \end{gathered}$$

三、核方法

（1）非线性带来高维转换。
（2）对偶带来内积。
核函数（计算角度）：$K(x,y)=<\varphi (x),\varphi (y)>$
核方法（思想角度）：$不用求具体\varphi ，使用K(x,y)即可$
核方法的关键概念：核函数和正定核。

1、核函数

$$\begin{gathered} K:\mathcal{X}\times \mathcal{X}|\to \mathcal{R},\forall x,z\in \mathcal{X} \\ 则K(x,z)为核函数，本质为一个二元变量的函数。 \end{gathered}$$

2、正定核

2.1基本定义

$$\begin{gathered} defination1:K:\mathcal{X}\times \mathcal{X}|\to \mathcal{R},\forall x,z\in \mathcal{X},有K(x,z)，即K为核函数。 \\ 如果\exists \varphi :\mathcal{X}|\to \mathcal{R},\varphi \in \mathcal{H}(hillbertspace),s.tK(x,z)=<\varphi (x),\varphi (z)> \\ 则称K(x,z)为正定核函数。 \end{gathered}$$
此为正定核的本质定义，需要找到映射$\varphi$。

2.2计算简便定义

$$\begin{gathered} defination2:K为核函数，若K满足下述条件，则K为正定核： \\ （1）对称性：K(x,z)=K(z,x) \\ （2）正定性:\forall N个元素,x_1,x_2,...,x_N\in \mathcal{X},其GramMatrix（K=[K(x_i,x_j)]）为半正定矩阵 \end{gathered}$$。
此定义更容易实际操作。

3、补充

3.1Hilbert space

Hilbert space是完备的（即对极限封闭），可能是无线维的，被赋予内积的线性空间（满足加法、乘法等封闭性）。
内积：$\{\begin{array}{l}对称性\Rightarrow <f,g>=<g,f>\\ 正定性\Rightarrow <f,f>\ge 0,当且仅当f=0取等\\ 线性\Rightarrow <r_1{f}_1+r_2{f}_2,g>=r_1<f_1,g>+r_2<f_2,g>\end{array}$

3.2半正定矩阵

半正定矩阵的判定：
（1）M为半正定矩阵，则其所有特征值大于等于0。
（2）M为半正定矩阵，则$\forall \alpha 有{\alpha }^{T}M\alpha \ge 0$。

对核函数的分析，抓住其本质，关键为内积操作。

四、核SVM

原问题：$$\begin{gathered} min\frac{1}{2}{w}^{T}w \\ s.t{y}_i(w^T{x}_i+b)\ge 1 \end{gathered}$$
对偶：$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{i=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t{\alpha }_i\ge 0 \\ \sum _{i=1}^N{y}_i{\alpha }_i=0 \end{gathered}$$
求出${\alpha }_i\Rightarrow w^{\ast }=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i,b=y_k-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i{x}_k$

核SVM：
（1）得到对偶问题：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j) \\ s.t{\alpha }_i\ge 0 \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$
（2）求解得到${\alpha }^{\ast }$，一般使用SMO算法。
（3）根据${\alpha }^{\ast }$，得$w^{\ast }=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i,找到SV,样本(x_k,y_k)\Rightarrow b=y_k-\sum _{i=1}{\alpha }_i{y}_{i}K(x_i,x_k)$
（4）得到平面$w^{\ast T}x+b=0$，则判别函数为：$f(x)=sgn(w^{\ast T}x+b)$

参数取值对SVM拟合效果的影响

SVM中的两个关键思想：
（1）线性可分时允许一点点误差$$\begin{gathered} \Rightarrow softSVM \\ \Rightarrow 参数C相当于正则化因子，平衡经验误差与模型复杂度 \end{gathered}$$
（2）非线性可分$\Rightarrow 核方法\Rightarrow 核技巧\Rightarrow 核函数\Rightarrow kernalfunction的参数选取也影响SVM的拟合效果$

常见的核函数：
（1）、线性核:$K(x,y)=x\cdot y+c$
（2）、多项式核：$K(x,y)=(a{x}^{T}y+c{)}^d$
（3）、RBF（高斯核）：$K(x,y)=exp(-\frac{1}{2{\sigma }^2}||x-y|{|}_2^2)$
（4）、sigmod核：$K(x,y)=tanh(a{x}^{T}y+c)$

具体参数对SVM拟合的影响：

参数C

平衡经验误差与模型复杂度，C小则允许有较大经验误差，模型不复杂；C大则允许的误差小，模型复杂。
模型复杂度在线性与非线性SVM中的具体表现形式不同：

	非线性	线性
C取值大	loss小，希望分对，经验误差小，可能过拟合	希望loss小，即margin小，尽可能所有分对
C取值小	loss大，经验误差大，分类超平面光滑，可能迁拟合	loss大，即margin大，有一些在margin里，有loss

核超参数的影响

$RBF:K(x,y)=exp(-\frac{||x-y|{|}_2^2}{2{\sigma }^2})=exp(-\gamma ||x-y|{|}_2^2),其中\gamma =\frac{1}{2{\sigma }^2}$。
${\sigma }^2即高斯分布的方差，方差大则图像越扁平，反之亦然。$

虽RBF为两个样本的内积，看似均值变化，但其实$K(x,y)$中定住$y$，$K(x,y)$反映了$x$以$y$为中心的影响，其中$\gamma$表示影响范围的大小：

$\{\begin{array}{l}\gamma 大则{\sigma }^2小，图像越瘦高，样本影响半径小\\ \gamma 小则{\sigma }^2大，图像越扁平，样本影响半径大\end{array}$

则$\gamma$对SVM分类程度的影响：

$\{\begin{array}{l}\gamma 大，则{\sigma }^2小,SV的影响半径小，小到只能影响自己，过拟合\\ \gamma 小，则{\sigma }^2大,SV的影响半径大，大到任意选中的SV的影响区域包含整个训练集，可能欠拟合，分类面光滑\end{array}$

因此：
$\{\begin{array}{l}欠拟合\Rightarrow 增大\gamma 和C\\ 过拟合\Rightarrow 减小\gamma 和C\end{array}$

五、SMO

SMO即次序最小化优化，是最快的二次规划算法，特别针对线性SVM和数据稀疏时性能更优，此处用于求解SVM的对偶问题。

SMO算法：
（1）、对$x_i$计算$E(x_i)=\sum _{j=1}^N{\alpha }_j{y}_j{x}_j{x}_i+b-y_i$

（2）、选${\alpha }_1$，从违反KKT中选，首先考虑$0<{\alpha }_i<C$中的

（3）、选${\alpha }_2,s.t|E_1-E_i|最大的{\alpha }_i$

（4）、${\alpha }_2^{new}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }(label+erroe+kernal),\eta =K_{11}+K_{22}-2K_{12}$

（5）、剪枝：$y_1{\alpha }_1+y_2{\alpha }_2=-\sum _{i=3}^N{y}_i{\alpha }_i=k$
$k=y_1{\alpha }_1^{old}+y_2{\alpha }_2^{old}$

所以$$\begin{gathered} y_1\ne y_2，L=max(0,-k),H=min(c,c-k) \\ {y}_1=y_2，L=max(0,k-c),H=min(k,c) \end{gathered}$$

所以${\alpha }_2^{new}=\{\begin{array}{l}L,{\alpha }_2^{new}<L\\ {\alpha }_2^{new},L\le {\alpha }_2^{new}\le H\\ H,{\alpha }_2^{new}>H\end{array}$

（6）、根据$y_1{\alpha }_1^{new}+y_2{\alpha }_2^{new}=y_1{\alpha }_1^{old}+y_2{\alpha }_2^{old}求{\alpha }_1^{new}$

（7）、更新b：
若$$\begin{gathered} 0<{\alpha }_1^{new}<C,则b_{new}=y_1-\sum _{i=3}^N{\alpha }_i{y}_i{x}_i-{\alpha }_1^{new}{y}_1{K}_{11}-{\alpha }_2^{new}{y}_2{K}_{21} \\ 因为E_1=\sum _{j=1}^N{\alpha }_j{y}_{j}K(x_1,x_j)+b_{old}-y_1 \\ \Rightarrow y_1-\sum _{i=3}^N{\alpha }_i{y}_i{x}_i=-E_1+{\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{21}+b_{old} \end{gathered}$$

若$0<{\alpha }_2^{new}<C$,同上。

若两个都不在$(0,C)$，则$b_1^{new}$和$b_2^{new}$以及他们之间的数都满足KKT，取$b_{new}=\frac{b_1^{new}+b_2^{new}}{2}$

重新计算$E(x_i)$，进行下一轮，直到达到精度或者迭代次数。

SMO算法的${\alpha }_1$的选择时违反KKT条件的原因是：违反KKT，说明其违反约束条件，先从$0<{\alpha }_i<C$中选择因为相应的样本为SV，其对SVM的影响大，从其开始，更快接近目标。
${\alpha }_2$选$max|E_1-E_2|$：希望优化后的${\alpha }_1$和${\alpha }_2$尽可能多地改变，因为$|E_1-E_2|$越大，说明两者误差差别大，会使${\alpha }_1,{\alpha }_2$改变很大。

fighting!