KKT

KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。

条件

一般的优化问题：

$\mathrm{minimize}$     $f(x) \tag{1}$
subject to

$$a_i \mathrm(x) =0 \; for \; i=0,1,\cdots,p \tag{2}$$
$$c_j \mathrm(x) \geqq 0 \; for \; j=0,1,\cdots,q \tag{3}$$

方法

一般约束问题的优化问题极值点一阶必要条件（KKT）

如果$\mathrm{x^*}$是优化问题的局部最小解，那么有
1)$\mathrm{a_i(x^*)} =0 \; for \; i=0,1,\cdots,p$
2)$\mathrm{c_j(x^*)} \geqq 0 \; for \; j=0,1,\cdots,q$
3)通过拉格朗日乘子式，$\mathrm{v_i^* ， \; for \; i=0,1,\cdots,p}$和$\lambda_j^* ， for \; j=0,1,\cdots,q$，使得

$$\Delta f(\mathrm{x^*}) = \sum_{i=1}^p \mathrm{v_i^*}\Delta\mathrm{a_i(x^*)} + \sum_{j=1}^q \lambda_j^* \Delta\mathrm{c_j(x^*)} \tag{4}$$
4) $\mathrm{ \lambda_j^* c_j(x^*) =0 ，for \, j=0,1,2,\cdots,q}$
$\mathrm{ \lambda_j^* >0 \Longrightarrow c_j(x^*)=0}$
$\mathrm{ c_j(x^*)>0\Longrightarrow \lambda_j^* =0}$
5) $\mathrm{\lambda_j^*>=0}$

条件3)的由来：拉格朗日乘子式，求导，且等于0，将x=x^*代入，可获得（4）。

证明：

待定。。。。