四种经典的拉格朗日函数(Augmented Lagrangian Function)

1 The essentially quadratic augmented Lagrangian function

令 $\varphi :\mathbb{R}\to \mathbb{R}$ 是二次连续可微的并且严格凸函数，满足 $\varphi (0)=0,\varphi \prime (0)=0$ 定义：
$$P(s,t)=\{\begin{array}{rlrl}& ts+\varphi (s)& & ift+\varphi \prime (s)\ge 0\\ & \underset{\tau \in \mathbb{R}}{\min }[t\tau +\varphi (\tau )]& & otherwise\end{array}$$

二次增广拉格朗日函数定义为：
$$L_1(x,\lambda ,c)=f(x)+\frac{1}{c}P(c{g}_i(x),{\lambda }_i)$$

其中 $c>0,x\in X,\lambda =({\lambda }_1,...,{\lambda }_m{)}^T\ge 0$

2 The exponential-type augmented Lagrangian

令 $\psi :\mathbb{R}\to \mathbb{R}$ 是二次可微的并且严格增函数，满足 $\psi (0)=0$ 问题是：
$$\begin{array}{rlrl}& \min f(x)& & \\ & subjectto& & (1/c)\psi (c{g}_i(x))\le 0,i=1,...,m\\ & & & x\in X\end{array}$$

其中 $c>0$ 是一个参数

上述问题（P）的拉格朗日函数可以写为以下形式：
$$L_2(x,\lambda ,c)=f(x)+\frac{1}{c}\sum _{i=1}^m{\lambda }_i\psi (c{g}_i(x)),x\in X,\lambda \ge 0$$

3 The modified barrier augmented Lagrangian

令 $\phi :(-\infty ,1)\to \mathbb{R}$ 是二次可微分的并且严格增函数，满足 $\phi (0)=0$

我们可以把问题重新表示通过使用 $\phi$。令 ${\Omega }_c=x\in X|c{g}_i(x)<1,i=1,...,m$ 定义 The modified barrier augmented Lagrangian 如下：
$$L_3(x,\lambda ,c)=\{\begin{array}{rlrl}& f(x)+\frac{1}{c}\sum _{i=1}^m{\lambda }_i\phi (c{g}_i(x)),& & x\in {\Omega }_c\\ & \infty ,& & x\in X\text{}{\Omega }_x\end{array}$$

其中 $c>0,\lambda \ge 0$

4 Introducing the penalty function

令 $\xi :\mathbb{R}\to \mathbb{R}$ 是一个二次可微分函数，对于所有的 $t\le 0$ 满足 $\xi (t)=0$，对于所有的 $t>0$ 满足 $\xi (t)>0$ 对于一下问题：
$$\begin{array}{rl}& \min f(x)+(1/c)\sum _{i=1}^m\xi (c{g}_i(x))\\ & subjectto(1/c)\psi (c{g}_i(x))\le 0,i=1,...,m,\\ & x\in X\end{array}$$

拉格朗日函数为：
$$L_4(x,\lambda ,c)=f(x)+\frac{1}{c}\sum _{i=1}^m[{\lambda }_i\psi (c{g}_i(x))+\xi (c{g}_i(x))],x\in X,\lambda \ge 0$$