最优化学习 KKT条件(最优解的一阶必要条件)

全部笔记的汇总贴：最优化学习目录

---

KKT条件(最优解的一阶必要条件)

$$\nabla f\left(x^{\ast }\right)+\sum _{i=1}^m{\lambda }_i\nabla g_i\left(x^{\ast }\right)+\sum _{i=1}^l{\mu }_i\nabla h_i\left(x^{\ast }\right)=0$$$${\lambda }_i⩾0,i=1,\dots m$$$$g_i\left(x^{\ast }\right)⩽0,i=1,\cdots m$$$$h_i\left(x^{\ast }\right)=0,i=1,\cdots l$$$${\lambda }_i{g}_i\left(x^{\ast }\right)=0,i=1,\dots m$$

Complementary Slackness 互补松弛条件

这里要引入一个Complementary Slackness 互补松弛条件
$${\lambda }_i{g}_i\left(x^{\ast }\right)=0,i=1,\dots m$$$$\{\begin{array}{l}{\lambda }_i>0\Rightarrow g_i\left(x^{\star }\right)=0\\ g_i\left(x^{\ast }\right)<0=>{\lambda }_i=0\end{array}$$

切锥与约束规范

为了证明KKT，这里引入几个定义

最优解的必要条件

若$x^{\ast }$是问题P的局部最优解
$$D\left(x^{\ast }\right)\cap T\left(x^{\ast }\right)=\varphi$$ D ( x ∗ ) = { d ∣ ∇ f ( x ∗ ) ⊤ d < 0 } \left.D\left(x^{*}\right)= \{ d \mid \nabla f\left(x^{*}\right)^{\top} d<0\right \} D(x∗)={d∣∇f(x∗)⊤d<0} T ( x ∗ ) = { α d ∣ α > 0 , d = lim ⁡ k → ∞ x k − x ∗ ∣ x k − x ∗ ∣ } T\left(x^{*}\right)=\left.\{ \alpha d\right|\alpha>0, d=\lim _{k \rightarrow \infty} \frac{x_{k}-x^{*}}{\left|x_{k}-x^{*}\right| } \} T(x∗)={αd∣α>0,d=k→∞lim​∣xk​−x∗∣xk​−x∗​}

线性可行方向集

线性无关约束规范（LICQ）

引用Farkas 引理证明KKT条件