SVM简介

一、支持向量机（SVM）定义：

1、线性可分支持向量机：

给定线性可分的训练数据集，通过（硬）间隔最大化或者等价的求解相应的凸二次规划问题学习得到的分离超平面为：$w*x+b = 0$
以及相应的分类决策函数： $f(x) = sign(w*x) + b$。

2、线性支持向量机

给定线性不可分的训练数据集，通过软件间隔最大化或者等价的求解相应的凸二次规划问题学习得到的分离超平面为：$w*x+b = 0$
以及相应的分类决策函数： $f(x) = sign(w*x) + b$。

3、非线性支持向量机

从非线性分类训练集，通过核函数与软间隔最大化，或者凸二次优化，学习得到的分类决策函数
$f(x) = sign\left(\sum\limits_{i=1}^N\alpha_iy_IK(x,x_i)+b\right)$

其中，$K(x,z)$ 是正定核函数。

总结（个人）：SVM算法就是为找到距分类样本点间隔最大的分类超平面$(w, \ \ b)$

二、重要概念

1、函数间隔

定义超平面$(w,\ b)$ 关于样本点$(x_i,\ y_i)$ 的函数间隔是 $\hat{\gamma}_i = y_i(w*x_i + b)$

定义超平面$w,\ b$ 关于训练集 $T$ 的函数间隔为： 超平面$(w,\ b)$ 与所有样本点 $(x_i,\ y_i)$ 的函数间隔最小值： $\hat{\gamma} = \min\limits_{i=1,2,,,N} \hat{\gamma}_i$
注：函数间隔可以表示分类预测的正确性及确信度。

2、几何间隔

定义超平面$(w,\ b)$ 关于样本点$(x_i,\ y_i)$ 的几何间隔是 $\gamma_i = y_i(\frac{w}{\lVert w\lVert}*x_i +\frac{b}{\lVert w\lvert})$;

超平面$(w,\ b)$ 关于训练数据集$T$ 的几何间隔是： 超平面$(w,\ b)$ 与所有样本点 $(x_i,\ y_i)$ 的几何间隔最小值： $\gamma = \min\limits_{i=1,2,,,N} \gamma_i$
注：几何间隔是为样本点到超平面的带符号距离，当样本被正确分类时，即为样本点到超平面的距离。

3、支持向量

考虑原始最优化问题及对偶最优化问题，将训练数据集中对应与 $\alpha_i > 0$ 的样本点 $(x_i,\ y_i)$ 的实例 $x_i\in R^n$ 为支持向量。

4、核函数

从输入空间$\chi$（欧式空间R^n 的子集或者离散集合）到特征空间$H$ (希尔伯特空间)的映射： $\phi(x): \chi\Rightarrow H$
使得对所有的$x,z\in \chi$， 函数$K(x,z)$ 满足条件
$K(x,z) = \phi(x)*\phi(z)$.
则称$K(x,z)$ 为核函数，$\phi(x)$ 为映射函数。

三、拉格朗日对偶性
摘自 《统计学习方法》 李航

1、原始问题

假设$f(x),\ c_i(x),\ h_j(x)$ 是定义在$R^n$ 上的连续可微函数，考虑约束最优化问题：

$\min\limits_{x\in R^n}f(x)\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (1)$
$s.t.\ \ \ c_i(x) \leq 0,\ \ \ \ \ i= 1,2,3,....,k\ \ (2)$
$\ \ \ \ \ \ \ \ \ h_j(x)=0, \ \ \ \ \ j = 1,2,3,....,l\ \ \ (3)$

则该约束最优化问题为原始问题或者原始最优化问题。

在求解该最优化问题时，首先引入广义拉格朗日函数（generalized Lagrange function）
$L(x,\alpha,\beta) = f(x) + \sum\limits_{i=1}^k\alpha_ic_i(x)+\sum\limits_{j=1}^l\beta_jh_j(x)$

$\alpha_i,\ \beta_j$ 拉格朗日乘子，且 $\alpha_i\geq 0$。

考虑$x$ 的函数
$\theta_p (x) = \max\limits_{\alpha,\beta;\alpha_i\geq 0} L(x,\alpha,\beta) = \max\limits_{\alpha,\beta;\alpha_i\geq 0} \left[ f(x) + \sum\limits_{i=1}^k\alpha_ic_i(x)+\sum\limits_{j=1}^l\beta_jh_j(x) \right]$

如果$x$ 违反约束条件，即存在$x_i$ 使得 $c_i(x_i)>0$ 或者存在$x_j$ 使得$h_j(x_j)\neq 0$, 则有

$\theta_p (x) = \max\limits_{\alpha,\beta;\alpha_i\geq 0} L(x,\alpha,\beta) = +\infty$

因为1、若$x_i$ 使约束条件 $c_i(x)>0$, 则令$\alpha_i \rightarrow +\infty$， 使得$\alpha_i c_i(x) \rightarrow +\infty$； 2、若$x_j$ 使得约束条件$h_j(x_j)\neq 0$， 则令 $\beta_j\rightarrow \infty$，使得$\beta_j h_j(x_j)\rightarrow \infty$, 同时令其余 $\alpha,\beta$ 均取0，可得$\theta_p(x) =+ \infty$ .
所以有：

$$\theta_p(x) = \begin{cases} f(x)& \text{x 满足约束条件}\\ +\infty& \text{其他} \end{cases}$$

原始最优化问题转换为:

$P^* = \min\limits_x \max\limits_{\alpha,\beta;\alpha_i\geq0}L(x,\alpha,\beta)$。

$P^*$定义为原始问题的最优值.

2、对偶问题

定义：

$\theta_D = \min\limits_{x}L(x,\alpha,\beta)$。

再考虑对$\theta_D = \min\limits_{x}L(x,\alpha,\beta)$ 的极大化，即

$\max\limits_{\alpha,\beta;\alpha_i\geq0} \theta_D =\max\limits_{\alpha,\beta;\alpha_i\geq0} \min\limits_{x}L(x,\alpha,\beta)$。

问题$\max\limits_{\alpha,\beta;\alpha_i\geq0} \min\limits_{x}L(x,\alpha,\beta)$ 成为广义拉格朗日函数的极大极小问题。

将广义拉格朗日函数的极大极小问题表示为约束最优化问题：

$$\max\limits_{\alpha,\beta;\alpha_i\geq0} \theta_D =\max\limits_{\alpha,\beta;\alpha_i\geq0} \min\limits_{x}L(x,\alpha,\beta)$$
$$s.t.\ \ \alpha_i\geq 0$$

称为原始问题的对偶问题，定义对偶问题的最优值为：$d^* =\max\limits_{\alpha,\beta;\alpha_i\geq0} \theta_D$

3、原始问题与对偶问题的关系

定理1： 若原始问题与对偶问题都有最优值，则

$d^* = \max\limits_{\alpha,\beta;\alpha_i\geq0} \min\limits_{x}L(x,\alpha,\beta)\leq \min\limits_x\max\limits_{\alpha,\beta;\alpha_i\geq0}L(x,\alpha,\beta) = P^*$。

定理2：考虑原始问题与对偶问题，假设函数$f(x)$ 和$c_i(x)$ 是凸函数，$h_j(x)$ 是仿射函数；并且假设不等式约束$c_i(x)$ 是严格可行的，即存在$x$, 对所有$i$ 有$c_i(x)<0$, 则存在$x^*, \alpha^*,\beta^*$， 使得$x^*$ 是原始问题的解，$\alpha^*,\beta^*$ 是对偶问题的解，并且
$P^* = d^* = L(x^*, \alpha^*,\beta^*)$.

注：在满足约束条件下，该定理保证了对对偶问题求的最优解，既是对原始问题求的最优值。

定理3：考虑原始问题与对偶问题，假设函数$f(x)$ 和$c_i(x)$ 是凸函数，$h_j(x)$ 是仿射函数；并且假设不等式约束$c_i(x)$ 是严格可行的，则$x^*$ 和 $\alpha^*,\beta^*$ 分别原始问题和对偶问题解的充分必要条件是$x^*, \alpha^*,\beta^*$ 满足 $KKT$ 条件：
$\bigtriangledown_x L(x^*, \alpha^*,\beta^*) = 0$

$\bigtriangledown_\alpha L(x^*, \alpha^*,\beta^*) = 0$

$\bigtriangledown_\beta L(x^*, \alpha^*,\beta^*) = 0$

$\alpha_i^*c_i(x^*) = 0,\ \ \ \ \ \ i=1,2,……，k$ 这条重要，在优化$\alpha$， 选择第一个变量的依据是违反KKT 条件，就是违反了这一条

$c_i(x^*) \leq 0,\ \ \ \ \ \ \ \ \ \ i=1,2,……，k$

$\alpha_i^*\geq 0,\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ i=1,2,……，k$

$h_j(x_j^*) = 0,\ \ \ \ \ \ \ \ \ \ j=1,2,……，l$

注：该定理提供了对偶问题和原始问题求解的方法。

四、目标函数

SVM 算法的分类思想是求得一个几何间隔最大的分离超平面，即最大间隔分离超平面，可表示为以下约束问题：

$\max\limits_{w,b}\gamma$

$s.t.\ \ y_i(\frac{w}{\lVert w \lVert}*x_i + \frac{b}{\lVert w \lVert} )\geq \gamma,\ \ i=1,2,…N$

最大化分离超平面与训练数据集的几何间隔$\gamma$, 约束条件保证了所有样本点与分离超平面的几何间隔至少为$\gamma$。

根据几何间隔与函数间隔的关系，$\gamma = \frac{\hat{\gamma}}{\lVert w\lVert}$， 上述问题可转换为：

$\max\limits_{w,b}\frac{\hat{\gamma}}{\lVert w\lVert}$

$s.t.\ \ y_i(w*x_i + b )\geq \hat{\gamma},\ \ i=1,2,…N$

由于函数间隔$\hat{\gamma}$ 的取值不影响最优化问题，可取$\hat{\gamma} = 1$(线性可分支持向量机)。对$\frac{1}{\lVert w\lVert}$ 求极大值，可转换为求 $\lVert w\lVert^2$ 的极小值。但在线性不可分训练集中，某些样本点可能不满足函数间隔大于等于1的约束条件，所以，对每个样本点引入一个松弛变量$\xi_i\geq 0$。(在机器学习实战中，$\xi$称为容错率，很有道理)，故，上述约束条件改为：
$s.t.\ \ y_i(w*x_i + b )\geq 1 -\xi_i,\ \ i=1,2,…N$
于是，可得目标函数，即最优化问题转换为：
$\min\limits_{w,b,\xi} \frac{1}{2}\lVert w\lVert^2 + C\sum\limits_{i=1}^N\xi_i$

$s.t.\ \ y_i(w*x_i + b) \geq 1 - \xi_i$ 这一项就是拉格朗日对偶性中的$c_i(x)$

$\ \ \ \ \ \ \ \ \ \ \xi_i\geq 0, \ \ \ \ i = 1,2,……，N$

$C>0$ 是惩罚参数， $C$ 值大时对误分类的惩罚增加，$C$ 值小时对误分类的惩罚减小（boosting的原理也是惩罚误分类点（机器学习实战SVM篇小结处问SVM和boosting 的相似处））。最小化目标函数，一方面使间隔尽量大（$\frac{1}{2}\lVert w\lVert^2$尽量小），同时，使误分类点的个数尽量减小。$C$ 是调节二者的系数。

当$\xi_i = 0$ 时，为线性可分SVM 的参数优化模型。

五、参数求解（SMO 算法）

原始优化问题的拉格朗日函数是：
$L(w,b,\xi,\alpha,u) = \frac{1}{2}\lVert w\lVert^2 + C\sum\limits_{i=1}^N\xi_i - \sum\limits_{i=1}^N\alpha_i( y_i(w*x_i + b) -1 + \xi_i ) - \sum\limits_{i=1}^N u_i\xi_i$

通过求对偶问题的解，来获得原始问题的解。这样做的优势有：

1、对偶问题更容易求解。

2、能够自然引入核函数，进而推广到非线性分类问题。

定理：设$\alpha = (\alpha_1,\alpha_1,…,\alpha_N)^T$ 是对偶问题的一个解，若存在$\alpha$ 的一个分量$\alpha_j$, $0<\alpha_j<C$, 则原始问题的解$w,\ b$ 可按下式求得：
$w = \sum\limits_{i=1}^N\alpha_iy_ix_i$………………………………（A）
$b = y_j - \sum\limits_{i=1}^Ny_i\alpha_i(x_i*x_j)$………………（B）

注：该定理是求分类决策函数 $f(x) = sign(w*x +b)$ 的保障。

证明：原始问题是凸二次规划问题，解满足$KKT$ 条件，即：
$\bigtriangledown_w L(w,b,\xi,\alpha,u) = w - \sum\limits_{i=1}^N\alpha_iy_ix_i = 0$…………（1）

$\bigtriangledown_b L(w,b,\xi,\alpha,u) = - \sum\limits_{i=1}^N\alpha_iy_i = 0$…………（2）

$\bigtriangledown_\xi L(w,b,\xi,\alpha,u) = C-\alpha - u= 0$…………（3）

$\alpha_i( y_i(w*x_i + b) -1 + \xi_i ) =0$ ………………（4）这个条件在拉格朗日对偶性中有强调，第一个$\alpha$优化选择的依据

$u_i\xi_i = 0$…………（5）

$\xi_i\geq 0, \ \ \ \alpha_i\geq 0, \ \ \ u_i\geq 0, \ \ \ i=1,2,…N$…………（6）

由条件（1）可得，$w = \sum\limits_{i=1}^N\alpha_iy_ix_i$。

由条件（4）可知，当$0<\alpha_i<C$ 时，$y_i(w*x_i + b) -1 + \xi_i = 0$； 又由条件（3）（5）可知，$\xi_i = 0$, 所以可得：$y_i(w*x_i + b) -1 = 0\Rightarrow b = y_i- w*x_i\Rightarrow y_i - \sum\limits_{j=1}^Ny_j\alpha_j(x_j*x_i)$。

将（A）(B)两个式子带入拉格朗日函数，可得：$\min\limits_{w,b,\xi}L(w,b,\xi,\alpha,u) = -\frac{1}{2} \sum\limits_{i=1}^N \sum\limits_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i*x_j) + \sum\limits_{i=1}^N\alpha_i$

再对$\min\limits_{w,b,\xi}L(w,b,\xi,\alpha,u)$ 求$\alpha$ 的极大值，即可得对偶问题的解：

$\max\limits_{\alpha}-\frac{1}{2} \sum\limits_{i=1}^N \sum\limits_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i*x_j) + \sum\limits_{i=1}^N\alpha_i$………………（7）

$s.t. \sum\limits_{i=1}^N \alpha_iy_i = 0$

$\ \ \ \ 0\leq \alpha_i\leq C, \ \ \ i=1,2,……,N$

现在，问题转换为如何求 $\alpha$， 使得对偶问题达到最大值。

2、序列最小化（SMO） 算法

SMO 算法思路：选择两个变量，固定其他变量，针对选择的两个变量构建一个二次规划的问题；这个二次规划问题关于两个变量的解更接近原始二次规划问题的解。SMO 算法将原问题不断分解为子问题并对子问题求解，进而达到求解原问题的目的。

假设选择的两个变量是$\alpha_1,\ \alpha_2$, 其他变量$\alpha_i\ \ (i=1,2,…N)$ 不变。则公式（7）可展开为：

$\min\limits_{\alpha_1,\alpha_2} W(\alpha_1,\alpha_2) = \frac{1}{2}K_{11}\alpha_1^2 + \frac{1}{2}K_{22}\alpha_2^2 + y_1y_2K_{12}\alpha_1\alpha_2 -(\alpha_1 + \alpha_2)+ y_1\alpha_1\min\limits_{i=3}y_i\alpha_iK_{i1} +y_2\alpha_2\min\limits_{i=3}y_i\alpha_iK_{i2}$

$s.t. \alpha_1y_1 + \alpha_2y_2 = -\sum\limits_{i=3}^N \alpha_iy_i=k$

$\ \ \ \ 0\leq \alpha_i\leq C, \ \ \ i=1,2,……,N$
其中，$K_{ij} = K(x_i,x_j)$， 在线性核函数中，$K_{ij} = x_i*x_j$。 $k$ 是常数。

可以计算优化后$\alpha_1$ 和 $\alpha_2$ 取值范围，

当$y_1 \neq y_2$ 时，优化后$\alpha_2^{new}$ 的取值范围是：

$L = max(0,-k)$， $H = min(C, C-k)$， 其中， $k = \alpha_1^{old} - \alpha_2^{old}$。

当$y_1 = y_2$ 时，优化后$\alpha_2^{new}$ 的取值范围是：

$L = max(0,k-C)$， $H = min(C, k)$， 其中， $k = \alpha_1^{old} + \alpha_2^{old}$

其中，$L$ 表示取最小值，$H$ 表示取最大值。

记： $g(x) = \sum\limits_{i=1}^N\alpha_iy_iK(x_i,x) + b$ ……………………针对样本$x$ 的预测值。
$E_i = g(x_i) - y_i = ( \sum\limits_{i=1}^N\alpha_iy_iK(x_i,x) + b) - y_i$ ………………针对样本$x_i$，预测值与真实值之差

定理： 最优化问题（7）沿着约束方向未剪切时的解是：(证明阅读《统计学习方法》)

$\alpha_2^{new,unc} = \alpha_2^{old} + \frac{y_2*(E_1-E_2)}{\eta}$，

其中，$\eta = K_{11}+ K_{22}-2*K_{12}= \lVert \Phi(x_1)-\Phi(x_2)\lVert^2$。 $\Phi(x)$ 是输入空间到特征空间的映射。

剪切后：

$$\alpha_2^{new}=\left\{ \begin{array}{rcl} &H & & {\alpha_2^{new,unc}>H}\\ &\alpha_2^{new,unc} & & {L<\alpha_2^{new,unc}<H}\\ &L & & {\alpha_2^{new,unc}< L}\\ \end{array} \right.$$

由： $\alpha_1^{old}y_1 + \alpha_2^{old}y_2 = \alpha_1^{new}y_1 + \alpha_2^{new}y_2\ \ \ \ \Rightarrow\ \ \ \ \alpha_1^{new} =\alpha_1^{old} + y_1y_2(\alpha_2^{old} - \alpha_2^{new} )$

当 $0<\alpha_1^{new}<C$ 时

$b_1 = -E_1 -y_1K_{11}(\alpha_1^{new}-\alpha_1^{old}) - y_2K_{21}( \alpha_2^{new}-\alpha_2^{old}) + b^{old}$

当 $0<\alpha_2^{new}<C$ 时

$b_2 = -E_2 -y_1K_{12}(\alpha_1^{new}-\alpha_1^{old}) - y_2K_{22}( \alpha_2^{new}-\alpha_2^{old}) + b^{old}$

若$\alpha_1^{new}$ 与 $\alpha_2^{new}$ 均满足$0<\alpha_i^{new}<C$， 则 $b_1^{new} = b_2^{new}$；

若$\alpha_1^{new}$ 与 $\alpha_2^{new}$ 均是 0 或者$C$, 则选 $b^{new} = \frac{1}{2}(b_1+ b_2)$

3、$\alpha_i$ 的选择标准

第一个 $\alpha_i$ 的选择标准是违反 $KKT$ 条件最严重的点。在代码中体现，即是当$0<\alpha_i<C$ 时，$y_i(w*x_i + b) -1 + \xi_i \neq 0$ 的样本，包括$y_i（(w*x_i + b) -y_i) = y_i*E_i<- \xi_i$ 或者 $y_i（(w*x_i + b) -y_i) = y_i*E_i> \xi_i$ 两部分。

第二个 $\alpha_j$ 的选择标准: 遍历所有的样本点，找到$| E_j- E_i|$ 最大值，此时的 j <script type="math/tex" id="MathJax-Element-115952">j</script> 即作为第二个选择的变量。

参考：
《统计学习方法》 李航