支持向量机思路

1. 通过最大间隔原则导出SVM基本型：
   $\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$
   $s.t.y_i(w^T{x}_i+b)\ge 1,i=1,...,m$
   此问题为凸二次规划问题，可以利用常规优化包计算。
   但是基于两个原因，一般利用其对偶问题求解。第一，对偶问题更容易求解，第二，方便利用核函数扩展到非线性划分。

2. 通过拉格朗日乘子法合并约束条件：
   拉格朗日函数：
   $L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))$

3. 构造拉格朗日函数下界（最优值下界），对偶函数：
   $\Gamma ({\alpha }_i)=\underset{w,b}{\min }L(w,b,\alpha )$
   对$w,b$求导可得：
   $\Gamma ({\alpha }_i)=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$
   此时考虑最大上界$\underset{{\alpha }_i}{\max }\Gamma ({\alpha }_i)$，即拉格朗日函数的极大极小问题：
   $\underset{{\alpha }_i}{\max }\underset{w,b}{\min }L(w,b,\alpha )=\underset{{\alpha }_i}{\max }\Gamma ({\alpha }_i)$
   可得对偶最优化问题：
   $\underset{{\alpha }_i}{\min }\Gamma ({\alpha }_i)=\underset{{\alpha }_i}{\min }\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i$
   $s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0$
   ${\alpha }_i\ge 0$
   $i=1,...,m$
   求得最优解${\alpha }^{\ast }$后：
   $f(x)=w^{T}x+b$
   $w=\sum _{i=1}^m{\alpha }_i^{\ast }{y}_i{x}_i$
   $b=\frac{1}{y_s}-\sum _{i=1}^m{\alpha }_i^{\ast }{y}_i{x}_i^T{x}_s$
   $s$为任意支持向量。

4. 对偶问题与原问题的等价条件：
   当原问题为凸优化问题，即$f(x),g(x)$为凸函数，$h(x)$为仿射函数，且可行域中至少有一点使不等式严格成立，则满足等价条件。

5. $w^{\ast },b^{\ast },{\alpha }^{\ast }$ 分别为原始问题和对偶问题的解的充分必要条件是满足KKT条件（求解过程）：
   ${\nabla }_{w}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=0$
   ${\nabla }_{b}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=0$
   ${\nabla }_{\alpha }L(w^{\ast },b^{\ast },{\alpha }^{\ast })=0$
   ${\alpha }_i^{\ast }\ge 0$
   $y_i(w^{\ast }{}^T{x}_i+b^{\ast })-1\ge 0$
   ${\alpha }_i(y_i(w^{\ast }{}^T{x}_i+b^{\ast })-1)=0$
   $i=1,...,m$
   注意不同教材对KKT条件定义不同，见李航《统计学习方法》，周志华《机器学习》。

6. 注意，原始问题的等价拉格朗日函数极小极大问题为
   $\underset{w,b}{\min }\underset{{\alpha }_i}{\max }L(w,b,\alpha )$
   所以有对偶一说。