Karush-Kuhn-Tucker 最优化条件 (KKT 条件)(转载)

一般地，一个最优化数学模型能够表示成下列标准形式：

‍‍

所谓 Karush-Kuhn-Tucker 最优化条件，就是指上式的最小点 x* 必须满足下面的条件：

‍

    KKT最优化条件是Karush[1939]以及Kuhn和Tucker[1951]先后独立发表出來的。这组最优化条件在Kuhn和Tucker发表之后才逐渐受到重视，因此许多书只记载成「Kuhn-Tucker 最优化条件 (Kuhn-Tucker conditions)」。

    KKT条件第一项是说最优点必须满足所有等式及不等式限制条件，也就是说最优点必须是一个可行解，这一点自然是毋庸置疑的。第二项表明在最优点 x*， ∇f 必須是 ∇hj和 ∇gk的线性組合，和都叫作拉格朗日乘子。所不同的是不等式限制条件有方向性，所以每一个都必须大于或等于零，而等式限制条件没有方向性，所以 没有符号的限制，其符号要视等式限制条件的写法而定.

    从KKT的几何意义出发这个定理还是很神奇的：

    f'(x)代表了f在x点增加的方向，而要找f的最小值的那个点就要朝f减小的方向走，也就是f*v < 0的区域，成为下降域；同理，g'(x)代表了g在x增加的方向，而可行区域就是g*v < 0的区域，成为可行域；要取得最优解就要使某点的下降域与可行域交集为空，也就是f'是g_k'的线性组合了。而g_k必须是有效的，即g_k(x)=0，否则其拉氏乘数就要等于0使其其实不发挥作用。