外部罚函数法

罚函数法的特点是根据问题的目标函数以及约束函数，构造出一个具有惩罚效果的目标函数序列，从而把约束最优化问题转换为对一系列无约束最优化问题的求解。而这种惩罚策略对于在无约束问题的求解过程中企图违反约束的那些迭代点给予很大的目标函数值，迫使这一系列无约束问题的极小点(迭代点)或者无线的向容许集靠近(称为外部罚函数法)，或者一直保持在容许集内移动(称为内部罚函数法，仅适用于具有不等式约束的最优化问题)，直到收敛到约束问题的极小点。

基本算法

考虑一般约束问题

$$\left.\begin{array}{llr}min&f(x)&\\ s.t.&s_i(x)\ge0&i=1,2,...,m\\ &h_j(x)=0&j=1,2,...,l\end{array}\right\}\tag1$$ 可以采用如下的惩罚策略 $$F(x,\mu)=f(x)+\mu(\sum\limits_{j=1}^l[h_j(x)]^2+\sum\limits_{i=1}^m[s_i(x)]^2\mu(s_i(x)))\tag2$$ 为简单起见，我们将 $$\alpha(x)=\sum\limits_{j=1}^l[h_j(x)]^2+\sum\limits_{i=1}^m[s_i(x)]^2\mu(s_i(x))\tag3$$ 我们将公式(3)称为约束问题(1)的惩罚函数。在惩罚函数 $\alpha(x)$中，有函数 $\mu(x)$，函数 $\mu:R^1\rightarrow R^1$是阶跃函数，所以有 $$\mu(x)=\begin{cases}0,&当t\ge0时\\1,&当t\lt0时\end{cases}\tag4$$ 根据以上显然有 $$\alpha(x)\begin{cases}=0,&当x\in D时\\ \gt0,&当x\notin D时\end{cases}\tag5$$ 其中 $D$是约束问题(1)的容许集。
我们把函数 $F(x,\mu)$称为约束问题(1)的 增广目标函数，其中 $mu(\gt0)$称为 罚因子， $\mu\alpha(x)$称为 惩罚相。
所以有约束最优化问题(1)能引出如下无约束最优化问题 $$\min\limits_x\quad F(x,\mu)$$ 即 $$\min\limits_x\quad f(x)+\mu\alpha(x)\tag6$$
那么我们如何通过式(6)来求解约束最优化问题(1)呢，下面给出一个定理。
定理1： 对于某个给定 $\mu$，若 $x_{\mu}$是无约束问题(6)的极小点，则 $x_{\mu}$是约束问题(1)的极小点的充要条件是 $x_{\mu}$是约束问题(1)的容许点。
证明： 必要性 因为极小点必定是容许点，所以必要性显然成立。
充分性 设 $x_{\mu}\in D$，这里的 $D$是约束问题(1)的容许集，那么对于