约束优化的罚函数法

本文介绍解决约束优化问题的经典算法——罚函数法。

基本思想

依据约束条件的特点，把约束条件转化为某种惩罚函数加到目标函数中，从而把约束优化问题转化为一系列无约束优化问题，通过求解一系列无约束优化问题得到约束优化问题的最优解。此类方法称为“序列无约束极小化方法”。

外罚函数法

外罚函数法基本思想看两个例子:

例1 等式约束优化：

$$\begin{gathered} minf(x)=x_1^2+\frac{1}{3}{x}_2^2 \\ s.t.x_1+x_2=1 \end{gathered}$$

解：等式约束得：$x_2=1-x_1$代入目标函数得：
$$min\varphi (x_1)=x_1^2\frac{1}{3}(x_1-1{)}^2$$
全局极小值点：$x^{\ast }=0.25$，从而原问题极小值点为：$x^{\ast }=(0.25,0.75{)}^T$。
现在要使构造的罚函数$\overline{P(x)}$满足：
$$\overline{P(x)}=\{\begin{array}{ll}0& x_1+x_2-1=0\\ >0& x_1+x_2-1\ne 0\end{array}$$
能保证函数具有连续的偏导数的简单方法是令：
$$\overline{P(x)}=(x_1+x_2-1{)}^2$$

现在考虑目标函数和上述罚函数的组合：
$$P(x,\sigma )=f(x)+\sigma \overline{P(x)}=x_1^2+\frac{1}{3}{x}_2^2+\sigma (x_1+x_2-1{)}^2$$

其中，$\sigma >0$为充分大的正数，称为罚参数或者罚因子。求上述组合的极小点：
由
$$\begin{array}{l}\frac{\partial P(\mathbf{x},\sigma )}{\partial x_1}=\frac{\partial P(\mathbf{x},\sigma )}{\partial x_2}=0\\ \{\begin{array}{l}(1+\sigma )x_1+\sigma x_2=\sigma \\ 3\sigma x_1+(1+3\sigma )x_2=3\sigma \end{array}\end{array}$$
求解上述方程组, 得：
$$x_1(\sigma )=\frac{\sigma }{1+4\sigma },x_2(\sigma )=\frac{3\sigma }{1+4\sigma }$$