罚函数法
本部分考虑约束优化问题：
min
f
(
x
)
s
.
t
.
x
∈
χ
(1)
\begin{aligned} \min f(x) \\ s.t. x\in\chi \end{aligned} \tag{1}
minf(x)s.t.x∈χ(1)
这里
χ
⊂
R
n
\chi\subset\mathbb{R}^n
χ⊂Rn为问题的可行域。与无约束问题不同，约束优化问题中自变量
x
x
x不能任意取值，这导致无约束优化算法不能使用。例如梯度法中沿着梯度负方向下降所得的点未必是可行点，要寻找最优解处目标函数的梯度也不是零向量。这使得约束优化问题比无约束优化问题要复杂许多。本部分要介绍的罚函数法将约束作为惩罚项加到目标函数中，从而转化为我们熟悉的无约束优化问题求解。
一、等式约束的二次罚函数法
面对约束优化问题，我们试图通过变形将问题（1）转化为无约束问题来求解。一种简单的情况是，假设问题约束中仅含灯饰约束，即考虑问题
min
x
f
(
x
)
s
.
t
.
c
i
(
x
)
=
0
,
i
∈
E
(2)
\begin{aligned} &\min_{x}f(x) \\ &s.t.\quad c_i(x)=0, i\in\mathcal{E} \end{aligned}\tag{2}
xminf(x)s.t.ci(x)=0,i∈E(2)
其中变量
x
∈
R
n
,
E
x\in\mathbb{R}^n,\mathcal{E}
x∈Rn,E为等式约束的指标集，
c
i
(
x
)
c_i(x)
ci(x)为连续函数。在某些特殊场合下，可以通过直接求解（非线性方程组）
c
i
(
x
)
=
0
c_i(x)=0
ci(x)=0消去部分变量，将其转化为无约束优化问题。但是对于一般函数来说，变量消去这一操作很难实现，我们必须采用其他方法来处理这种问题。
罚函数法的思想是将约束优化问题（1）转化为无约束优化问题来进行求解。为了保证解的逼近质量，无约束优化问题的目标函数为原约束优化问题的目标函数加上与约束函数有关的惩罚项。对于可行域外的点，惩罚项为正，即对该点进行惩罚；对于可行域内的点，惩罚项为0，即不做任何惩罚。因此惩罚项会促使无约束优化问题的解落在可行域内。
对于灯饰约束问题，惩罚项的选取方式有很多，结构最简单的是二次函数，这里给出二次罚函数的定义，
对于等式约束最优化问题（1），定义二次罚函数
P
E
(
x
,
σ
)
=
f
(
x
)
+
1
2
∑
i
∈
E
c
i
2
(
x
)
P_E(x,\sigma)=f(x)+\frac{1}{2}\sum_{i\in\mathcal{E}}c_i^2(x)
PE(x,σ)=f(x)+21i∈E∑ci2(x)
其中灯饰右端第二项称为惩罚项，
σ
>
0
\sigma>0
σ>0称为惩罚因子。
由于这种罚函数对不满足约束的点进行惩罚，在迭代过程中点列一般处于可行域外，因此它也被称为外点罚函数。二次罚函数的特点如下：对于非可行点而言，当
σ
\sigma
σ变大时，惩罚项在发函数中的权重加大，对罚函数求绩效，相当于迫使其极小点向可行域靠近；在可行域中，
P
E
(
x
,
σ
)
P_E(x,\sigma)
PE(x,σ)的全局极小点于约束问题（1）的最优解相同。
举例1
考虑优化问题
min
x
+
3
y
s
.
t
.
x
2
+
y
2
=
1
\begin{aligned} &\min\quad x + \sqrt{3}y \\ &s.t. \quad x^2 + y^2 = 1 \end{aligned}
minx+3ys.t.x2+y2=1
容易求出改问题的最优解为
(
−
1
2
,
−
3
2
)
(-\frac{1}{2},-\frac{\sqrt{3}}{2})
(−21,−23)。考虑二次罚函数
P
E
(
x
,
y
,
σ
)
=
x
+
3
y
+
σ
2
(
x
2
+
y
2
−
1
)
2
,
P_E(x,y,\sigma)=x+\sqrt{3}y+\frac{\sigma}{2}(x^2+y^2-1)^2,
PE(x,y,σ)=x+3y+2σ(x2+y2−1)2,
在下图中绘制出
σ
=
1
\sigma=1
σ=1和
σ
=
8
\sigma=8
σ=8对应的罚函数的等高线。可以看出，随着
σ
\sigma
σ增大，二次罚函数
P
E
(
x
,
y
,
σ
)
P_E(x,y,\sigma)
PE(x,y,σ)的最小值和原问题最小值越来越接近，但最优点附近的等高线越来越趋于扁平，这导致求解无约束优化问题的难度变大。此外，当
σ
=
8
\sigma=8
σ=8时函数出现了一个极大值，罚函数图形在
(
−
1
2
,
−
3
2
)
T
(-\frac{1}{2},-\frac{\sqrt{3}}{2})^T
(−21,−23)T附近出现一个鞍点。
sigma = 1;
x = -2:0.01:2;
y = -2:0.01:1.5;
[X, Y] = meshgrid(x, y);
%X = X;
%Y = Y;
P_E = X + sqrt(3) * Y + sigma/2 * (X.^2+Y.^2-1).^2;
figure
subplot(121)
contour(X, Y, P_E, 80)
sigma = 8;
x = -2:0.01:2;
y = -2:0.01:1.5;
[X, Y] = meshgrid(x, y);
%X = X;
%Y = Y;
P_E = X + sqrt(3) * Y + sigma/2 * (X.^2+Y.^2-1).^2;
subplot(122)
contour(X, Y, P_E, 180)
从以上例子知道，给定罚因子 σ \sigma σ，我们可通过求解 P E ( x , σ ) P_E(x,\sigma) PE(x,σ)的最小值点作为原问题的近似解。当实际情况并不总是这样，当 σ \sigma σ选取过小时罚函数可能无下届。
举例2
考虑优化问题
min
−
x
2
+
2
y
2
s
.
t
x
=
1
\begin{aligned} &\min\quad -x^2+2y^2 \\ &s.t \quad x = 1 \end{aligned}
min−x2+2y2s.tx=1
通过消去变量容易得知最优解就是
(
1
,
0
)
T
(1,0)^T
(1,0)T。但考虑罚函数
P
E
(
x
,
y
,
σ
)
=
−
x
2
+
2
y
2
+
σ
2
(
x
−
1
)
2
,
P_E(x,y,\sigma)=-x^2+2y^2+\frac{\sigma}{2}(x-1)^2,
PE(x,y,σ)=−x2+2y2+2σ(x−1)2,
对任意的
σ
≤
2
\sigma\le 2
σ≤2，该罚函数是无界的。
出现以上现象的原因时当罚因子过小时，不可行点处的函数下降抵消了罚函数对约束违反的惩罚。实际上所有外点罚函数法均存在这个问题，因此
σ
\sigma
σ的初值选取不应该太小。
我们在这里给出等式约束罚函数法的算法，之后再对每一步进行具体解释。
二次罚函数法
- 给定 σ 1 > 0 , x 0 , k ← 1 \sigma_1>0,x^0,k\leftarrow 1 σ1>0,x0,k←1，罚因子增长系数 ρ > 0 \rho > 0 ρ>0
- while 未达到收敛准则 do
- 以 x k x^k xk为初始点，求解 x k + 1 = a r g min x P E ( x , σ k ) x^{k+1}=arg\min_{x}P_E(x,\sigma_k) xk+1=argminxPE(x,σk)
- 选取 σ k + 1 = ρ σ k \sigma_{k+1}=\rho\sigma_k σk+1=ρσk
- k ← k + 1 k\leftarrow k+1 k←k+1
- end while
算法的执行过程比较直观：即先选取一系列指数增长的罚因子 σ k \sigma_k σk，然后针对每个罚因子求解二次罚函数
7377
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
