内点法解不等式约束的优化问题

最新推荐文章于 2022-08-25 17:08:15 发布

JinBerg

最新推荐文章于 2022-08-25 17:08:15 发布

阅读量7.5k

点赞数

分类专栏：最优化文章标签：优化内点罚函数

本文链接：https://blog.csdn.net/JinBerg/article/details/78807566

版权

最优化专栏收录该内容

1 篇文章 0 订阅

订阅专栏

*参考了《最优化理论与方法》科学出版社袁亚湘孙文瑜

前言

无约束的优化问题，有丰富的方法求解，相对有约束的优化问题比较简单。对于有约束的优化问题，一个重要的解决思路就是转化为无约束的优化问题求解。为此，一种方法是给优化目标加上惩罚项作为新的优化目标，称为新问题。惩罚项用来描述一个解对约束的破坏程度。破坏越严重，惩罚项越大（最小化问题），那么越偏离原问题的可行域，同时也越不能称为新问题的最优解。

内点法又称内点罚函数法，是这种思想的具体体现。

原理

对于不等式约束的优化问题P1：

min x \in R n f (x) s . t . c i (x) \geq 0, i = 1, \dots, m

$\min_{x\in\mathbb{R}^n}f(x) \\ s.t. \qquad c_i(x)\ge0, \quad i = 1,\dots,m$
现有函数

h(c) $h(c)$ 满足
1.

limc→0+h(c)=+∞ $\lim\limits_{c\to0^+}h(c)=+\infty$
2.

h(c)>0,∀c>0 $h(c)>0,\quad \forall c>0$
3.

h(c1)≥h(c2),∀c1≤c2 $h(c_1)\ge h(c_2),\quad \forall c_1\le c_2$

将 $h(c)$ 作为惩罚项，构造内点罚函数

P σ (x) = f (x) + σ - 1 \sum i = 1 m h (c i (x))

$P_\sigma(x)=f(x)+\sigma^{-1}\sum_{i=1}^{m}h(c_i(x))$
则有优化问题P2：

min x \in R n P σ (x)

$\min_{x\in\mathbb{R}^n}P_\sigma(x)$
迭代地解问题P2，在初始点选择内点，由于惩罚项

h(c) $h(c)$ 在边界上除取值无穷，那么在迭代过程中产生的解都将会是内点，即在可行域内。这就相当于在可行域的边界上筑起了无限高的高墙，迭代过程不可能爬过这面墙，所以产生的解都是可行解。意味着，可行性是自然满足的。

考虑如下的一系列优化问题P2.k

min x \in R n P σ k (x) = f (x) + σ - 1 k \sum i = 1 m h (c i (x))

$\min_{x\in\mathbb{R}^n}P_{\sigma_{k}}(x)=f(x)+\sigma_k^{-1}\sum_{i=1}^{m}h(c_i(x))$
其中的

σ−1k $\sigma_k^{-1}$ 满足

σ - 1 1 > σ - 1 2 > \dots > σ - 1 k > \dots > 0

$\sigma_1^{-1}>\sigma_2^{-1}>\dots>\sigma_k^{-1}>\dots>0$
那么可以看出，P2.k一系列问题中，惩罚项的影响在逐步减小趋于0。即问题P2.k的最优解越来越趋于问题P1的最优解。

设问题P2.k的最优解为 $x_{\sigma_{k}}$ ,接下来证明上边所说的这两件事
1. 惩罚项的影响逐渐减小趋于0
2. P2.k最优解趋于P1的最优解
即
$\lim\limits_{k\to \infty}\frac{1}{\sigma_{k}}\sum_{i=1}^{m}h(c_i(x_{\sigma_k}))=0 \qquad(1)\$
$\lim\limits_{k\to \infty}f(x_{\sigma_k}) = \inf\limits_{x\in X}f(x)\qquad\qquad (2)$
$X$ 是问题的可行域
证明：由于目标函数连续，对于 $\forall \eta>0, \exists x_\eta\in X$ 使得

f (x η) < inf x \in X f (x) + η / 2 (3)

$f(x_\eta)<\inf_{x\in X}f(x)+\eta/2\qquad(3)$
固定

η，xη $\eta，x_\eta$ ，由于

σk $\sigma_k$ 的单调性，故存在

K $K$ ，使得

σ k > 2 η \sum i = 1 m h (c i (x η)), \forall k \geq K (4)

$\sigma_k>\frac{2}{\eta}\sum_{i=1}^{m}h(c_i(x_\eta)),\qquad\forall k\ge K \qquad(4)$
由于

xσk $x_{\sigma_k}$ 是P2.k的最优解，那么

P σ k (x σ k) \leq P σ k (x η) (5)

$P_{\sigma_k}(x_{\sigma_k})\le P_{\sigma_k}(x_{\eta})\qquad (5)$
即

f (x σ k) + σ - 1 k \sum i = 1 m h (c i (x σ k) \leq f (x η) + σ - 1 k \sum i = 1 m h (c i (x η) (6)

$f(x_{\sigma_k})+\sigma_k^{-1}\sum_{i=1}^{m}h(c_i(x_{\sigma_k})\le f(x_{\eta})+\sigma_k^{-1}\sum_{i=1}^{m}h(c_i(x_{\eta})\qquad(6)$
(6)移项得到

σ - 1 k \sum i = 1 m h (c i (x σ k) \leq f (x η) + σ - 1 k \sum i = 1 m h (c i (x η) - f (x σ k) (7)

$\sigma_k^{-1}\sum_{i=1}^{m}h(c_i(x_{\sigma_k})\le f(x_{\eta})+\sigma_k^{-1}\sum_{i=1}^{m}h(c_i(x_{\eta})-f(x_{\sigma_k})\qquad(7)$
将(3)、(4)代入(7)得到：

σ - 1 k \sum i = 1 m h (c i (x σ k) \leq inf x \in X f (x) + η 2 + η 2 - f (x σ k) \leq η (8)

$\sigma_k^{-1}\sum_{i=1}^{m}h(c_i(x_{\sigma_k})\le \inf_{x\in X}f(x)+\frac{\eta}{2}+\frac{\eta}{2}-f(x_{\sigma_k})\le\eta\qquad(8)$
所以式(1)得证。
又由式(3)、(4)、(7)可得:

f (x σ k) \leq f (x η) + σ - 1 k \sum i = 1 m h (c i (x η) \leq inf x \in X f (x) + η (9)

$f(x_{\sigma_k})\le f(x_{\eta})+\sigma_k^{-1}\sum_{i=1}^{m}h(c_i(x_{\eta})\le \inf_{x\in X}f(x)+\eta\qquad(9)$
式(2)得证。
证毕。

以上的证明过程证明了内点罚函数最终将收敛到P1的最优解。

操作性

注意在上一部分，每一步所用的都是最优解，而且没有给出 $x_{\sigma_k}$ 迭代得到 $x_{\sigma_{k+1}}$ 的方法。由于精确求解最优解的困难，考虑非精确求解P2的方法。
假设 $f(x)$ 和 $h(c_i(x))$ 都是凸函数，那么 $P_\sigma(x)$ 也是凸函数，则问题P3