约束优化求解之罚函数法

罚函数法

本部分考虑约束优化问题：
$$\begin{array}{r}\min f(x)\\ s.t.x\in \chi \end{array}\text{\hspace{1em}(1)}$$
这里$\chi \subset {\mathbb{R}}^n$为问题的可行域。与无约束问题不同，约束优化问题中自变量$x$不能任意取值，这导致无约束优化算法不能使用。例如梯度法中沿着梯度负方向下降所得的点未必是可行点，要寻找最优解处目标函数的梯度也不是零向量。这使得约束优化问题比无约束优化问题要复杂许多。本部分要介绍的罚函数法将约束作为惩罚项加到目标函数中，从而转化为我们熟悉的无约束优化问题求解。

一、等式约束的二次罚函数法
面对约束优化问题，我们试图通过变形将问题（1）转化为无约束问题来求解。一种简单的情况是，假设问题约束中仅含灯饰约束，即考虑问题
$$\begin{array}{rl}& \underset{x}{\min }f(x)\\ & s.t.c_i(x)=0,i\in \mathcal{E}\end{array}\text{\hspace{1em}(2)}$$
其中变量$x\in {\mathbb{R}}^n,\mathcal{E}$为等式约束的指标集，$c_i(x)$为连续函数。在某些特殊场合下，可以通过直接求解（非线性方程组）$c_i(x)=0$消去部分变量，将其转化为无约束优化问题。但是对于一般函数来说，变量消去这一操作很难实现，我们必须采用其他方法来处理这种问题。
罚函数法的思想是将约束优化问题（1）转化为无约束优化问题来进行求解。为了保证解的逼近质量，无约束优化问题的目标函数为原约束优化问题的目标函数加上与约束函数有关的惩罚项。对于可行域外的点，惩罚项为正，即对该点进行惩罚；对于可行域内的点，惩罚项为0，即不做任何惩罚。因此惩罚项会促使无约束优化问题的解落在可行域内。
对于灯饰约束问题，惩罚项的选取方式有很多，结构最简单的是二次函数，这里给出二次罚函数的定义，
对于等式约束最优化问题（1），定义二次罚函数
P E ( x , σ ) = f ( x ) + 1 2 ∑ i ∈ E c i 2 ( x ) P_E(x,\sigma)=f(x)+\frac{1}{2}\sum_{i\in\mathcal{E}}c_i^2(x) P