有约束优化方法

对偶问题

拉格朗日函数
$$L\left(x,u,v\right)=f\left(x\right)+u^{T}g\left(x\right)+v^{T}h\left(x\right),u\ge 0$$
拉格朗日对偶函数
$$\begin{array}{l}\theta \left(u,v\right)=\underset{x}{\inf }L\left(x,u,v\right)=\underset{x}{\inf }\left(f\left(x\right)+u^{T}g\left(x\right)+v^{T}h\left(x\right)\right),u\ge 0\end{array}$$
对偶问题的最优值给出了原问题最优值的一个下界,并且对于某些凸规划问题(满足强对偶定理条件)，可以通过求解对偶问题得到原问题的最优解

弱对偶定理

弱对偶定理: 对于任意的$u,v$,拉格朗日对偶函数给出了原优化问题最优值的一个下界，拉格朗日对偶问题的最优值给出了原问题最优值的最好下界。

令$\tilde{x}$是原问题的可行解，即
∀ x ~ ∈ { x ∣ x ∈ X , g ( x ) ⩽ 0 , h ( x ) = 0 } L ( x ~ , u , v ) = f ( x ~ ) + u T g ( x ~ ) + v T h ( x ~ ) ⩽ f ( x ~ ) θ ( u , v ) = inf ⁡ x L ( x , u , v ) ⩽ L ( x ~ , u , v ) ⩽ f ( x ~ ) \begin{array}{l} \forall \tilde{x}\in \{x|x\in X,g(x) \leqslant 0,h\left( x\right) =0\}\\ L\left( \tilde{x},u,v\right) =f\left( \tilde{x}\right) +u^{T}g\left( \tilde{x}\right) +v^{T}h\left( \tilde{x}\right) \leqslant f\left( \tilde{x}\right) \\ \theta \left( u,v\right) =\inf\limits_{x}L\left( x,u,v\right) \leqslant L\left( \tilde{x},u,v\right) \leqslant f\left( \tilde{x}\right) \end{array} ∀x~∈{x∣x∈X,g(x)⩽0,h(x)=0}L(x~,u,v)=f(x~)+uTg(x~)+vTh(x~)⩽f(x~)θ(u,v)=xinf​L(x,u,v)⩽L(x~,u,v)⩽f(x~)​
由$\tilde{x}$的任意性可得$\theta (u,v)⩽f(x^{\ast })$，$x^{\ast }$为原问题的最优解。

强对偶定理

强对偶定理: 在目标函数$f(x)$与不等式约束条件$g(x)$为凸函数,等式约束条件$h(x)$为仿射函数时，且在可行域内存在一点$\hat{x}$使不等式约束严格成立$g(\hat{x})<0$，则原问题与对偶问题的最优值相同。
inf ⁡ { f ( x ) : x ∈ X , g ( x ) ⩽ 0 , h ( x ) = 0 } = sup ⁡ { θ ( u , v ) : u ⩾ 0 } \inf\{f(x):x\in X,g(x)\leqslant 0,h(x)=0\}=\sup\{\theta(u,v):u\geqslant 0\} inf{f(x):x∈X,g(x)⩽0,h(x)=0}=sup{θ(u,v):u⩾0}
且如果下确界是有限值，则在$(\bar{u}⩾0,\bar{v})$点达到 sup ⁡ { θ ( u , v ) : u ⩾ 0 } \sup\{\theta(u,v):u\geqslant 0\} sup{θ(u,v):u⩾0}

如果下确界在$\bar{x}$点达到，则${\bar{u}}^{T}g(\bar{x})=0$

强对偶定理说明对偶间隙为0，从对偶问题得到的原问题的最优下界是紧的，对偶问题的最优值即是原问题最优值

约束最优化方法

可行方向法

问题P：$\min f(x),g(x)⩽0$,设其可行域为$X$,给定可行点 $x_k$,为求其极小点，则应在点$x_k$处的可行下降方向中选取方向$d_k$,然后采用线搜索求步长，产生新的迭代点
$$\{\begin{array}{l}{x}_{k+1}=x_k+{\lambda }_k{d}_k\\ f\left(x_{k+1}\right)<f\left(x_k\right)\end{array}$$
然后判断新点是否满足精度要求，满 足，则停止；不满足，则继续迭代或者迭代次数超过预定 次数也停止

增广拉格朗日法

增广拉格朗日法的解是原问题的解

原问题
$$\begin{array}{c}\min f\left(x\right)\\ s.t.c\left(x\right)=0\end{array}$$
其KKT点
$$\begin{array}{lc}& \\ L_1\left(x,\lambda \right)=f\left(x\right)+{\lambda }^{T}c\left(x\right)& \\ {\nabla }_x{L}_1\left(x_1^{\ast },{\lambda }_1^{\ast }\right)=\nabla f\left(x_1^{\ast }\right)+A\left(x_1^{\ast }\right){\lambda }_1^{\ast }=0& (1)\\ 其中A\left(x\right)=\left[\begin{array}{ccc}\nabla c_1\left(x\right)& \dots & \nabla c_m\left(x\right)\end{array}\right]& \end{array}$$
增广拉格朗日函数对应的问题：
$$\begin{array}{c}\min f\left(x\right)+\frac{\sigma }{2}{\Vert c\left(x\right)\Vert }_2^2\\ s.t.c\left(x\right)=0\end{array}$$
其KKT点
$$\begin{array}{lc}{L}_2\left(x,\lambda \right)=f\left(x\right)+\frac{\sigma }{2}{c}^T\left(x\right)c\left(x\right)+{\lambda }^{T}c\left(x\right)& \\ {\nabla }_x{L}_2\left(x_2^{\ast },{\lambda }_2^{\ast }\right)=\nabla f\left(x_2^{\ast }\right)+A\left(x_2^{\ast }\right){\lambda }_2^{\ast }+\sigma A\left(x_2^{\ast }\right)c\left(x_2^{\ast }\right)& \\ =\nabla f\left(x_2^{\ast }\right)+A\left(x_2^{\ast }\right)\left({\lambda }_2^{\ast }+\sigma c\left(x_2^{\ast }\right)\right)=0& (2)\end{array}$$
因为对于可行点$c(x^{\ast })=0$，故两个问题的KKT条件相同，比较上下式可得
$$\{\begin{array}{l}{x}_1^{\ast }=x_2^{\ast }\\ {\lambda }_1^{\ast }={\lambda }_2^{\ast }\end{array}$$
比较(1)式和(2)式得${\lambda }^{\ast }={\lambda }_k+{\sigma }_{k}c(x^k)$
$$\begin{array}{l}{x}^{k+1}=\arg \underset{x}{\min }{L}_2\left(x,{\lambda }^k\right)\\ {\lambda }^{k+1}={\lambda }^k+\sigma c\left(x^{k+1}\right)\end{array}$$

ADMM法

经典的ADMM法适用于求解N-Block的凸优化问题

以2-Block为例
$$\begin{array}{c}\min f\left(x\right)+g(z)\\ s.t.Ax+Bz=c\end{array}$$
Block指我们可以将决策域分块，分成两组变量，对于每组变量分别求最优，不断迭代下降。这样就将一个大规模求解问题分解为多个小规模问题分别求解，这样的性质使得ADMM算法容易进行并行计算。
$$\begin{gathered} x^{k+1}=\arg \underset{x}{\min }L(x,z^k,y^k) \\ {z}^{k+1}=\arg \underset{z}{\min }L(x^{k+1},z,y^k) \\ {y}^{k+1}=y^k+\rho (A{x}^{k+1}+B{z}^{k+1}-c) \end{gathered}$$