学习笔记——支持向量机（SVM）

凸优化问题

1. 无约束优化问题
   $minf(x)$
   费马（Fermat）定理，直接$f^{{}^{\prime }}(x)=0$求解

2. 带等式约束的优化问题
   $minf(x)$
   $s.t.h_i(x)=0,i=1,2,\cdot \cdot \cdot ,n$
   拉格朗日（Largrange）乘子法，构造:
   $L(x,{\alpha }_i)=f(x)+\sum _{i=1}^n{\alpha }_i{h}_i(x)$
   令$\frac{\partial L(x,{\alpha }_i)}{\partial x}=0,\frac{\partial L(x,{\alpha }_i)}{\partial {\alpha }_i}=0,i=1,2,\cdot \cdot \cdot ,n$

3. 带不等式约束的优化问题
   $minf(x)$
   $s.t.h_i(x)=0,i=1,2,\cdot \cdot \cdot ,n;$
   $g_j(x)\le 0，j=1,2,\cdot \cdot \cdot ,m$
   构造Largrange函数：
   $L(x,{\alpha }_i)=f(x)+\sum _{i=1}^n{\alpha }_i{h}_i(x)+\sum _{j=1}^m{\beta }_j{g}_j(x)$
   此时需要使用一般化的拉格朗日乘子方法：KKT条件，函数的最优值必定满足下面条件：
   (1)$ \frac{\partial L(x, \alpha_i)}{\partial x}=0 $；
   (2) $h_i(x)=0,i=1,2,\cdot \cdot \cdot ,n$，另外${\alpha }_i̸=0$;
   (3) $\sum _{j=1}^m{\beta }_j{g}_j(x)=0;{\beta }_i\ge 0,j=1,2,\cdot \cdot \cdot ,m$
   对于一般的任意问题而言，KKT条件是使一组解成为最优解的必要条件，当原问题是凸问题的时候，KKT条件也是充分条件。
   前两个条件是针对极值和等式约束的，第三个条件来自不等式约束，函数的极值必须满足：$g_i(x)\le 0$，并且${\alpha }_i\ge 0$，同时$\sum _{j=1}^m{\beta }_j{g}_j(x)=0$，这就要求要么某个不等式$g_j(x)=0$，要么其对应的${\beta }_j=0$。
   $\because \ \beta \geq0,g_k(x)\leq0 $
   $\therefore \beta g(x)\le 0$
   $\therefore \underset{\mu }{\max }L(x,\beta )=f(x)$
   $\therefore \underset{x}{\min }f(x)=\underset{x}{\min }\underset{\beta }{\max }L(x,\beta )(1)$
   交换：
   $\underset{\beta }{\max }\underset{x}{\min }L(x,\beta )$
   $=\underset{\beta }{\max }[\underset{x}{\min }f(x)+\underset{x}{\min }\beta g(x)]$
   $=\underset{\beta }{\max }\underset{x}{\min }f(x)+\underset{\beta }{\max }\underset{x}{\min }\beta g(x)$
   此时，$\underset{\beta }{\max }\underset{x}{\min }f(x)=\underset{x}{\min }f(x)$，因为$f(x)$与$\beta$无关，而:
   
   $\underset{\beta }{\max }\underset{x}{\min }L(x,\beta )=\underset{x}{\min }f(x),\beta g(x)=0,\beta =0||g(x)=0$
   因此：
   $\underset{\mu }{\max }\underset{x}{\min }L(x,\mu )=\underset{x}{\min }\underset{\mu }{\max }L(x,\mu )$
   $s.t.\mu g(x）=0$
   $\mu \ge 0$
   此时极小极大问题就转变成了极大极小问题，我们称，极大极小问题是原问题的对偶问题，条件就是KKT条件。

——2018.08

---

支持向量机笔记：

---

2017.1.6