优化问题.

无约束优化问题

$$\min f(x)$$

$\max f(x)$等价于$\min -f(x)$

等式约束优化问题

原问题
$$\begin{gathered} \min f(x) \\ s.t.g(x)=0 \end{gathered}$$
拉格朗日函数$$L(x,\lambda )=f(x)+\lambda g(x)$$
等式约束优化问题转化为无约束优化问题
$$\underset{x,\lambda }{\min }L(x,\lambda )$$
对偶函数 $g(\lambda )=\underset{x}{\inf }L(x,\lambda )$
对偶问题 $\max g(\lambda )$
最优解必要条件，偏导为零
$${\nabla }_{x}L=\nabla f(x)+\lambda \nabla g(x)=0$$
$${\nabla }_{\lambda }L=g(x)=0$$
第一式为定常方程，第二式为约束条件，解得驻点$x^{\ast }$ 和y的值

原始问题与对偶问题关系
$$L(x^{\ast },\lambda )\le L(x^{\ast },{\lambda }^{\ast })\le L(x,{\lambda }^{\ast })$$
$x^{\ast },{\lambda }^{\ast }$分别是原问题与对偶问题最优解

不等式约束优化问题

$$\begin{gathered} \min f(x) \\ s.t.g(x)\le 0 \end{gathered}$$

可行域 R f e a s i b l e = { x ∈ R n ∣ g ( x ) ≤ 0 } R_{feasible}=\{x\in R^n|g(x)\le 0\} Rfeasible​={x∈Rn∣g(x)≤0}

(1)$g(x)=0$,最优解落在$R_{feasible}$边界，约束有效，称为边界解。约束不等式变为等式，退化为等式约束问题，驻点$x^{\ast }$满足$${\nabla }_{x}L=\nabla f(x)+\lambda \nabla g(x)=0$$
即$\nabla f(x)\in span\nabla g(x)$。
因为要最小化$f(x)$,$\nabla f(x)$应指向可行域$R_{feasible}$内部，但$\nabla g(x)$指向可行域外部（即$g(x)>0$,因为约束条件$g(x)\le 0$),因此$\lambda \ge 0$,称为对偶可行性。

(2)$g(x)<0$,最优解落在$R_{feasible}$内部，约束无效，称为内部解。此时，不等式约束优化问题退化为无约束问题，驻点$x^{\ast }$满足$\nabla f(x)=0$和$\lambda =0$。

无论内部解还是边界解，$\lambda g(x)=0$恒成立，称为互补可行性。

KKT（Karush-Kuhn-Tucker）条件

KKT条件的使用前提是约束资格条件，是局部最小值的必要条件；对凸优化问题而言，是局部最小值的充要条件。
KKT条件包括定常方程，原始可行性，对偶可行性以及互补可行性，即
$$\begin{gathered} {\nabla }_{x}L=\nabla f(x)+\lambda \nabla g(x)=0 \\ g(x)\le 0 \\ \lambda \ge 0 \\ \lambda g(x)=0 \end{gathered}$$

推广

优化问题

对原始问题
$$\begin{gathered} \min f(x) \\ s.t.g_j(x)=0,j=1,\cdot \cdot \cdot ,m, \\ {h}_k(x)\le 0,k=1,\cdot \cdot \cdot ,p. \end{gathered}$$
拉格朗日函数$$L(x,\lambda ,\mu )=f(x)+\sum _{j=1}^m\lambda g_j(x)+\sum _{k=1}^p\mu h_k(x)$$

KKT（Karush-Kuhn-Tucker）条件

KKT条件包括
$$\begin{gathered} {\nabla }_{x}L=0 \\ {g}_j(x)=0 \\ {h}_k(x)\le 0 \\ {\mu }_k\ge 0 \\ \lambda g(x)=0 \end{gathered}$$

对偶问题及其与原始问题的关系

原始问题

构造关于$x$的函数
${\theta }_P(x)={\max }_{\lambda ,\mu ,{\mu }_k\ge 0}L(x,\lambda ,\mu )=\{\begin{array}{ll}f(x),& x满足约束条件\\ +\infty ,& 否则\end{array}$
极小化问题
$$\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\lambda ,\mu ,{\mu }_k\ge 0}{\max }L(x,\lambda ,\mu )$$
与原始最优化问题等价
${\min }_x{\max }_{\lambda ,\mu ,{\mu }_k\ge 0}L(x,\lambda ,\mu )$称为广义拉格朗日函数的极小极大问题
$p^{\ast }={\min }_x{\theta }_P(x)$称为原始问题最优解

对偶问题

类似的，构造关于$\lambda ,\mu$的函数
${\theta }_D(\lambda ,\mu )={\min }_{x}L(x,\lambda ,\mu )$
则极大化问题
$$\underset{\lambda ,\mu ,{\mu }_k\ge 0}{\max }{\theta }_D(\lambda ,\mu )=\underset{\lambda ,\mu ,{\mu }_k\ge 0}{\max }\underset{x}{\min }L(x,\lambda ,\mu )$$
称为广义拉格朗日函数的极大极小问题
增加约束${\mu }_k\ge 0$
$$\begin{gathered} \underset{\lambda ,\mu ,{\mu }_k\ge 0}{\max }{\theta }_D(\lambda ,\mu )=\underset{\lambda ,\mu ,{\mu }_k\ge 0}{\max }\underset{x}{\min }L(x,\lambda ,\mu ) \\ s.t.{\mu }_k\ge 0,k=1,\dots k. \end{gathered}$$称为原始问题的对偶问题
$d^{\ast }={\max }_{\lambda ,\mu ,{\mu }_k\ge 0}{\theta }_D(\lambda ,\mu )$称为对偶问题最优解

对偶问题与原始问题的关系

弱对偶性
$$d^{\ast }=\underset{\lambda ,\mu ,{\mu }_k\ge 0}{\max }\underset{x}{\min }L(x,\lambda ,\mu )\le \underset{x}{\min }\underset{\lambda ,\mu ,{\mu }_k\ge 0}{\max }L(x,\lambda ,\mu )=p^{\ast }$$
强对偶性
$$d^{\ast }=p^{\ast }$$
强对偶性的前提是KKT条件或Slater条件