罚函数与增广Lagrangian乘子法

罚函数

罚函数法是一种广泛采用的约束优化方法，有时也称为惩罚，其基本原理是通过采用罚函数或障碍函数，将约束条件整合进优化目标中去。考虑约束优化问题：
$$\begin{gathered} \min f(x) \\ s.t.f_i(x)\ge 0,i=1,\cdots ,m;h_j(x)=0,j=1,\cdots ,q\text{\hspace{1em}(1)} \end{gathered}$$
我们用$F$表示$x$的可行域，用$S$表示整个搜索空间。有两种添加惩罚项的方法，一种是加性，即在$x$脱离可行域的时候给$f(x)$加上一个大于0的项$p(x)$，另一种是乘性，即在$x$脱离可行域的时候给$f(x)$乘一个大于1的项$p(x)$。通常采用的还是加性罚函数，将原始约束优化问题转变成无约束优化问题：
$$\underset{x\in S}{\min }{L}_p(x)=f(x)+\rho \cdot p(x)$$
这里$\rho$为惩罚参数。

对于等式约束，可以定义罚函数
$$p(x)=\sum _{i=1}^q|h_i(x){|}^2$$
它对满足等式约束的$x$无影响，对违反等式约束的$x$施加惩罚。
对于不等式约束，可以定义两类罚函数，外罚函数和内罚函数。外罚函数例如：
p ( x ) = ∑ i = 1 m ( max ⁡ { 0 , − f i ( x ) } ) r p(x)=\sum_{i=1}^m(\max \{0,-f_i(x)\})^r p(x)=i=1∑m​(max{0,−fi​(x)})r
$r$可取1或2。外罚函数对所有违背不等式约束的点进行惩罚。
内罚函数例如
$$p(x)=\sum _{i=1}^m\frac{1}{f_i(x)}$$
或
$$p(x)=\sum _{i=1}^m\frac{1}{f_i(x)}log(f_i(x))$$
内罚函数对“企图”不满足不等式约束的点进行惩罚，也称为障碍函数。

外罚函数对可行域之外的所有点进行惩罚，是不等式约束优化问题的精确解，是最优设计方案；而内罚函数阻挡了可行边界的点，得到的解只满足严格不等式$f_i(x)>0$，是一种次优解。外罚函数可以用不可行点启动，收敛慢，内罚函数的启动点必须是可行点，选择起来存在困难，但是收敛比较快。结合等式约束的罚函数，得出同时有等式和不等式约束的混合罚函数法：
（1）混合外罚函数法
min ⁡ x f ( x ) + ρ 1 ∑ i = 1 m ( max ⁡ { 0 , − f i ( x ) } ) 2 + ρ 2 ∑ i = 1 q ∣ h i ( x ) ∣ 2 \min_x f(x)+\rho_1\sum_{i=1}^m(\max \{0,-f_i(x)\})^2+\rho_2 \sum_{i=1}^q|h_i(x)|^2 xmin​f(x)+ρ1​i=1∑m​(max{0,−fi​(x)})2+ρ2​i=1∑q​∣hi​(x)∣2
（2）混合内罚函数法
$$\underset{x}{\min }f(x)+{\rho }_1\sum _{i=1}^m\frac{1}{f_i(x)}+{\rho }_2\sum _{i=1}^q|h_i(x){|}^2$$

增广Lagrangian乘子法

基于Lagrangian乘子法的对偶上升法的主要缺点是：（1）只有当约束优化目标具有局部凸结构的时候，对偶的无约束问题才是良好定义的，$\lambda$的更新才是有意义的；（2）Lagrangian目标函数的收敛比较费时，因为Lagrangian乘子$\lambda$的更新是一种上升迭代，只能适度地加速收敛。
罚函数的不足在于收敛慢，大的惩罚参数容易引起转化后的无约束问题的病态，从而造成算法的数值不稳定性。
将两种方法结合起来的增广Lagrangian乘子法是能够减缓二者缺点的一种简单有效的途径。

对于公式$(1)$的问题，记$h(x)=[h_1(x),\cdots ,h_q(x){]}^T$，对Lagrangian目标函数$L(x,\lambda )$添加罚函数组成$L_{\rho }$：
$$\begin{gathered} L_{\rho }=f(x)+{\lambda }^{T}h(x)+\rho \varphi (h(x)) \\ =f(x)+\sum _{i=1}^q{\lambda }_i{h}_i(x)+\rho \sum _{i=1}^q\varphi (h(x)) \end{gathered}$$
这就是增广Lagrangian乘子法。可以看出，若$\rho =0$，增广Lagrangian乘子法退化为Lagrangian乘子法；若$\lambda =0$，增广Lagrangian乘子法退化为标准罚函数法。
求解$L_{\rho }$的对偶上升法由以下两个更新组成：
$$\begin{gathered} x_{k+1}=\underset{x}{\mathrm{argmin}}{L}_{\rho }(x,{\lambda }_k) \\ {\lambda }_{k+1}={\lambda }_k+{\rho }_k{\nabla }_{\lambda }{L}_{\rho }(x_{k+1},{\lambda }_k) \end{gathered}$$
上式中的${\rho }_k{\nabla }_{\lambda }{L}_{\rho }(x_{k+1},{\lambda }_k)$是$L_{\rho }(x_{k+1},{\lambda }_k)$关于$\lambda$的梯度。

特别地，若公式$(1)$中的等式约束为仿射函数$h(x)=Ax-b$，罚函数$\varphi (h(x))=\frac{1}{2}\Vert Ax-b{\Vert }_2^2$，则增广Lagrangian函数为：
$$L_{\rho }(x,\lambda )=f(x)+{\lambda }^T(Ax-b)+\frac{\rho }{2}\Vert Ax-b{\Vert }_2^2$$
相应的对偶上升法的更新公式为：
$$\begin{gathered} x_{k+1}=\underset{x}{\mathrm{argmin}}{L}_{\rho }(x,{\lambda }_k) \\ {\lambda }_{k+1}={\lambda }_k+{\rho }_k(A{x}_{k+1}-b) \end{gathered}$$
增广Lagrangian乘子法相比于Lagrangian乘子法的优点是，不要求$f(x)$具有局部凸结构，因此适用范围更广。

本文主要来自张贤达《矩阵分析与优化（第二版）》4.7.3节。有一个地方我有点不明白，书里面前面讲标准Lagrangian乘子法和对偶上升法$f(x)$的时候要求$f(x)$是凸函数，这里怎么变成说是“局部凸结构”了？