优化问题与KKT条件

“初学者”并不是不好好理解其中的数学的借口，终于下定决心好好理解SVM了，先从KKT条件开始。

A. 优化问题的分类

首先是要知道问题是定义在$\mathbb{R}^n \to \mathbb{R}$，即$y = f(\overrightarrow{x})$。
第一种优化问题是没有任何约束的，即求一个最优解$\overrightarrow{x_0}$使得对任意的$\overrightarrow{x}$，都有$f(\overrightarrow{x_0}) <= f(\overrightarrow{x})$。这个一般用多元函数求极值的方法就可以解决了，即求$f(\overrightarrow{x})$的导数，令其为0，求解出来即可（？？是全导数还是偏导数，这个还得再看看）。

第二种是有等式约束的，即问题为：

$$min\ f(\overrightarrow{x}),\ s.t.\ h_i(\overrightarrow{x}) = 0, i = 1, 2, \ldots, p$$

这种一般用拉格朗日乘子法来（Lagrange Multiplier）求解，即将问题转化成求解：

min F(x→), F(x→)