最优化理论极简入门(第一部分)：最优化条件和KKT条件

概要

• 最优化条件
  • 可微函数的KKT条件
• 最优化条件：例题
  • 不可微函数的KKT条件

最优化条件

最优化理论研究的最基本的最优化问题有以下的形式
$$\begin{array}{rl}\underset{x}{\min }& f(x)\\ s.t.& h_i(x)=0,i=1,...m\\ & g_j(x)\le 0,j=1,...r\end{array}$$

我们有目标函数$f(x)$，及m个等式约束条件，r个不等式约束条件。

需要考虑的第一个问题就是，以上这个问题的最优解需要满足什么条件？最优性必要条件如下

定理1：最优性必要条件

---

${h}_i$是一次函数，$g_j$是凸函数，存在$x^{\ast }$使得$g_j(x^{\ast })<0，h_i(x^{\ast })=0$
$\nabla h_i(x^{\ast })$和$\nabla g_j(x^{\ast })$线性无关

若$x^{\ast }$是局部最小解，则存在满足KKT条件的拉格朗日乘数$({\lambda }^{\ast },{\mu }^{\ast })$，使得$(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })$是KKT点。

换句话说，如果$x^{\ast }$是最优解，那就必须满足KKT条件。

$\nabla$是偏导的意思, 其中KKT条件如下
$$\begin{array}{c}\nabla f(x^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }\nabla h_i(x^{\ast })+\sum _{j=1}^r{\mu }_j^{\ast }\nabla g_{}\end{array}$$