约束极值、SVM的总结

总结约束极值的基本内容以及SVM的基础知识，包含KKT条件

下降方向和可行方向

一般来讲，我们遇到的约束极值问题可以描述如下：

$$\left\{\begin{matrix}min\; \; f(x)\\ h_{i}(x) = 0\; \; \; \; \; i=1,2,...,m\\ g_{i}(x) \geqslant 0\; \; \; \; \; j=1,2,...,l\end{matrix}\right.\tag{1}$$

或者描述如下：

$$\left\{\begin{matrix}min\; \; f(x)\\ g_{i}(x) \geqslant 0\; \; \; \; \; j=1,2,...,l\end{matrix}\right.\tag{2}$$

(可以理解为$g_{i}(x) \geqslant 0$以及$g_{i}(x) \leqslant 0$)

对于上述问题，我们可以假定有一个方向D，使得：

$$\begin{matrix}f(x^{k} + \lambda D) < f(x^{k})\\ g_{j}(x^{k} + \lambda D) \geqslant g_{j}(x^{k})\end{matrix}$$

对上述公式进行Taylor展开，那么会有：

f(xk+λD)=f(xk)+λD▽f(xk)+o(λ)gj(xk+λD)=gj