原问题-对偶问题-KKT条件

原问题-对偶问题-KKT条件

本文主要是对第1个视频的文字总结，原视频讲得很好。
计算实例部分可以看看第2个链接中的文章。

1. "拉格朗日对偶问题"如何直观理解？“KKT条件” “Slater条件” "凸优化"打包理解_哔哩哔哩_bilibili

2. KKT条件，原来如此简单 | 理论+算例实践

---

拉格朗日函数的直观理解

单个等式约束

• 目标函数$f(x,y)$可以在 X-Y 平面上画等高线来表示
• 等式约束条件$y-g(x)=0$是 X-Y 平面上的一条曲线。
• 目标函数最小值一定是在曲线与等高线相切处取到，数学形式就是曲线的法线方向和$f(x,y)$的梯度方向在同一直线上，可以通过调整$\lambda$使得两者大小相等，方向相反。

多个线性不等式约束条件

• 起作用的约束条件取到等号，系数大于0，对应约束条件是紧致的
• 不起作用的约束条件取不到等号，系数等于0，对应约束条件是松弛的
• 归纳成一个式子：${\lambda }_i{g}_i({\mathbf{x}}^{\ast })=0$

原问题

$$\begin{array}{rl}& \underset{\mathbf{x}}{\min }{f}_0(\mathbf{x}),\mathbf{x}\in {\mathbb{R}}^n\\ & \text{s.t.}\{\begin{array}{rl}& f_i(\mathbf{x})⩽0,i=1,\cdots ,m\\ & h_j(\mathbf{x})=0,j=1,\cdots ,q\end{array}\end{array}$$

等价于

$$\begin{array}{rl}& L(\mathbf{x},\mathbf{\lambda },\mathbf{v})=f_0(\mathbf{x})+\sum _{i=1}^m{\lambda }_i{f}_i(\mathbf{x})+\sum _{j=1}^q{v}_j{h}_j(\mathbf{x})\\ & \underset{\mathbf{x}}{\min }\underset{\mathbf{\lambda },\mathbf{v}}{\max }L(\mathbf{x},\mathbf{\lambda },\mathbf{v})\\ & \text{s.t.}\mathbf{\lambda }\ge 0\end{array}$$

对偶问题

交换原问题中${\min }_{\mathbf{x}}$和${\max }_{\mathbf{\lambda },\mathbf{v}}$的顺序：

$$\begin{array}{rl}& g(\mathbf{\lambda },\mathbf{v})=\underset{\mathbf{x}}{\min }L(\mathbf{x},\mathbf{\lambda },\mathbf{v})\\ & \underset{\mathbf{\lambda },\mathbf{v}}{\max }g(\mathbf{\lambda },\mathbf{v})\\ & \text{s.t.}\mathbf{\lambda }\ge 0\end{array}$$

等价于

$$\begin{array}{rl}& \underset{\mathbf{\lambda },\mathbf{v}}{\max }g(\mathbf{\lambda },\mathbf{v})\\ & \text{s.t.}\{\begin{array}{rl}& {\nabla }_{\mathbf{x}}L(\mathbf{x},\mathbf{\lambda },\mathbf{v})=0\\ & \mathbf{\lambda }\ge 0\end{array}\end{array}$$

不论原问题是不是凸优化问题，其对偶问题一定是一个凸优化问题，因为

$$g(\mathbf{\lambda },\mathbf{v})=f_0({\mathbf{x}}^{\ast })+\sum _{i=1}^m{\lambda }_i{f}_i({\mathbf{x}}^{\ast })+\sum _{j=1}^q{v}_j{h}_j({\mathbf{x}}^{\ast })$$

是关于${\lambda }_i$和$v_j$的线性函数。

对偶问题和原问题的关系

• 原问题的解$P^{\ast }$一定大于等于对偶问题的解$D^{\ast }$

强对偶关系

当原问题和对偶问题是强对偶关系时，$P^{\ast }=D^{\ast }$。

判断两者是否满足强对偶关系，有充分条件和必要条件。

• 充分条件——Slater条件
  • 原问题是一个凸优化问题，即目标函数$f_0(\mathbf{x})$是一个凸函数，约束条件是一个凸集
  • 同时，原问题满足Slater条件，即可行域内部存在一个点满足$f_i(\mathbf{x})<0$

• 必要条件——KKT条件

KKT条件有5个条件，分别保证原问题和对偶问题的约束，以及确定不等式约束是紧致还是松弛：

$$\{\begin{array}{rl}& f_i({\mathbf{x}}^{\ast })⩽0,i=1,\cdots ,m\\ & h_j({\mathbf{x}}^{\ast })=0,j=1,\cdots ,q\\ & {\nabla }_{\mathbf{x}}L({\mathbf{x}}^{\ast },\mathbf{\lambda },\mathbf{v})=0\\ & \mathbf{\lambda }\ge 0\\ & {\lambda }_i{f}_i({\mathbf{x}}^{\ast })=0，i=1,\cdots ,m\end{array}$$

一般来说，可以把KKT条件当做充要条件使用

用KKT条件求解约束优化问题的实例

见此文中的 4.1节——数值计算实操