罚函数法求解约束问题最优解

问题描述：

约束问题的最优解可以描述为：

$$\begin{matrix} & minf(x) \\ s.t. \ & g_i(x) \geq 0, i=1, \cdots,m \\ & h_j(x) =0, j=1, \cdots,l \end{matrix}$$

考虑约束问题： ，其中，$f(x),g_i(x),h_j(x)$ 连续。

或者

$$\begin{matrix} & minf(x) \\ s.t. \ & g(x) \geq 0, \\ & h(x) =0, \end{matrix}$$ ，
其中， $g(x) = ( g_1(x), \cdots, g_m(x) )^T \\ h(x) = ( h_1(x), \cdots, h_l(x) )^T$

令问题的可行域是：

$$D= \left \{ x | \begin{matrix} g_i(x) & \geq 0, i=1,\cdots, m. \\ h_j(x) & \geq 0, j = 1,\cdots, l. \end{matrix} \right \}$$ ，

如何求解约束问题？？？

罚函数法是序列无约束问题算法的典型代表。罚函数法的基本思想是构造辅助函数F,把原来的约束问题转化为求极小化辅助函数的无约束问题。
如何构造辅助函数，是求解问题首要问题。

一、外点罚函数法

基本思想：构造辅助函数$F_{\mu}: R^n \rightarrow R \ \ \ ( \mu > 0 )$ 。构造函数在可行域内部与原问题的取值相同，在可行域外部，其取值远远大于目标函数的取值。
1、对于约束问题：

$$\begin{matrix} & minf(x) \\ s.t. & h_j(x) =0, j=1, \cdots,l \end{matrix}$$ ，

可定义辅助函数：

$$F(x,\mu) = f(x) + \mu \sum ^l _{j=1} h_j^2(x)$$

2、对于约束问题：

$$\begin{matrix} & minf(x) \\ s.t. \ & g_i(x) \geq 0, i=1, \cdots,m \end{matrix}$$ ，

可定义辅助函数：

$$F(x,\mu) = f(x) + \mu \sum ^m _{i=1} (max \{ 0, g_j(x) \})^2$$

3、对于一般问题：
可定义辅助函数：

$$F(x,\mu) = f(x) + \mu P(x)$$

其中， $P(x) = \sum _{i=1}^m \phi (g_i(x)) + \sum _{j=1}^l \psi (h_j(x))$， $\phi \{ \begin{matrix} =& 0, y \geq 0 \\ >& 0 ,y < 0 \end{matrix}$， $\psi \{ \begin{matrix} =& 0, y \geq 0 \\ >& 0 ,y \neq 0 \end{matrix}$，

典型的取法有： $\phi = (max\{0,-g_i(x)\})^\alpha$， $\psi = | h_j(x) |^\beta \ \ \ ( \alpha \geq 1, \beta \geq 1)$

通过这些辅助函数，可以把约束问题转换为无约束问题：

$$min F(x,\mu) = f(x) + \mu Q(x)$$

其中 $\mu$ 是很大的数，通常取一个趋向于无穷大的严格递增正数列 $\{ \mu _k \}$，$Q(x)$ 是连续函数。

具体步骤：

1、给定初始点、初始罚因子，放大系数，允许误差 $x^{(0)},\mu _1 , c > 1, \epsilon > 0$，设 $k =1$

2、以 $x^{(k-1)}$为初点，求解无约束问题： $min F(x,\mu) = f(x) + \mu_k Q(x)$，得极小点 $x^{(k})$

3、若 $\mu_k Q(x^{(k)}) < \epsilon$，停止，得极小点 $x^{(k})$；否则，令 $\mu _{k+1} = c \mu_k$，置 $K:=k+1$，转步骤（2）

二、内点罚函数法

基本思想：内点法产生的点列从可行域的内部逼近问题的解。构造辅助(光滑)函数，该函数在严格可行域外无穷大，且当自变量趋于可行域边界时，函数值趋于无穷大。

适合类型：

$$\begin{matrix} & minf(x) \\ s.t. \ & g_i(x) \geq 0, i=1, \cdots,m \end{matrix}$$ ，
定义域： $S = \{ x | g_i(x) \geq 0,i=1,2,\cdots,m \}$
当 $\mu \rightarrow 0$时，无约束问题 $$min F_{\mu} = F(x,\mu)$$ 的解趋于原有约束问题的解。

定义障碍函数：

$$F(x,\mu) = f(x) + \mu B(x)$$
其中，当自变量趋于可行域边界时，连续函数 $B(x) \rightarrow 0 , \mu$是很小的正数。

可通过求解：

$$\begin{matrix} minF(x,\mu) \\ s.t. x\in int\ S\end{matrix}$$ 得到原问题的近似解。

辅助函数：

$$B(x) = \sum _{i=1}^m \frac{1}{g_i(x)}$$
$$B(x) = - \sum log\ g_i(x)$$

具体步骤：
1、给定初始点、初始罚因子，缩小系数，允许误差 $x^{(0)},\mu _1 , \beta \in (0,1) , \epsilon > 0$，设 $k =1$

2、以 $x^{(k-1)}$为初点，求解无约束问题： $min F(x,\mu) = f(x) + \mu _k B(x)$，得极小点 $x^{(k})$

3、若 $\mu_k B(x^{(k)}) < \epsilon$，停止，得极小点 $x^{(k})$；否则，令 $\mu _{k+1} = \beta \mu_k$，置 $K:=k+1$，转步骤（2）