约束优化问题的最优性条件

最新推荐文章于 2024-03-18 20:05:42 发布

背对人潮

最新推荐文章于 2024-03-18 20:05:42 发布

阅读量1k

点赞数 7

分类专栏：最优化问题 # 约束非线性最优化方法文章标签：算法机器学习人工智能线性代数

本文链接：https://blog.csdn.net/m0_61209712/article/details/134712152

版权

最优化问题同时被 2 个专栏收录

24 篇文章 10 订阅

订阅专栏

约束非线性最优化方法

4 篇文章 0 订阅

订阅专栏

基本概念：

约束优化问题的一般模型：

$\left\{\begin{matrix} minf(x) (x\in R^{n})\\ s.t. g_{i}(x)\geq 0,i=1,2,...,m \\ h_{j}(x)=0,j=1,2,...,l \end{matrix}\right.$

其中， $f$ , $g_{i}$ , $h_{j}$ 均是实值连续函数，且具有二阶连续偏导数。

等式约束最优化的最优性条件：

一般形式：

$\left\{\begin{matrix} minf(x)\\ s.t. h_{j}(x)\geq 0,j=1,2,...,l\end{matrix}\right.$

其中 $f$ ： $R^{n}\rightarrow R$ ， $h_{j}:R^{n}\rightarrow R$

下面给出定理：
定理1：在等式约束优化问题中，设 $f$ 在点 $\bar{x}$ 处可微， $h_{j}$ 在 $\bar{x}$ 处具有一阶连续偏导数，并且向量组 $\bigtriangledown h_{1}(\bar{x}),\bigtriangledown h_{2}(\bar{x}),...,\bigtriangledown h_{l}(\bar{x})$ 线性无关，如果 $\bar{x}$ 是局部极小点，则存在实数 $\bar{v}_{j}$ ， $j=1,2,...,l$ ，使得 $\bigtriangledown f(\bar{x})-\sum_{j=1}^{l}\bar{v}_{j}\bigtriangledown h_{j}(\bar{x})=0$ 。

定理2：设 $f$ ： $R^{n}\rightarrow R$ 和 $h_{j}:R^{n}\rightarrow R(j=1,2,...,l)$ 在 $\bar{x}$ 处具有二阶连续偏导数，如果存在 $\bar{v}\in R^{l}$ ，使得 $\bigtriangledown L(\bar{x},\bar{v})=0$ ，并且 $\forall z\neq 0$ ，只要 $z^{T}\bigtriangledown h_{j}(\bar{x})=0,j=1,2,...,l$ ，就有 $z^{T}\bigtriangledown _{xx}^{2}L(\bar{x},\bar{v})z> 0$ ，则 $\bar{x}$ 是上述问题的严格局部极小值。

例题解析：

不等式约束最优化的最优性条件：

一般形式：

$\left\{\begin{matrix} minf(x)\\ s.t. g_{i}(x)\geq 0,i=1,2,...,m \end{matrix}\right.$

其中 $f$ ： $R^{n}\rightarrow R$ ， $g_{i}:R^{n}\rightarrow R$

将不等式约束分为两种情况：

（1） $g_i(\bar{x})=0$ ，称为第 i 个不等式约束在 $\bar{x}$ 处起作用的约束（紧约束）；

（2） $g_i(\bar{x})> 0$ ，称为第 i 个不等式约束在 $\bar{x}$ 处不起作用的约束（松约束）；

用 $I(\bar{x})$ 表示在可行点处起作用的指标集，即 $I(\bar{x})=\left \{ i|g_i(x)=0,i=1,2,...,m \right \}$ 。

参考下面例题，可以了解 $I(\bar{x})$ 的作用。

对于起作用的约束，当点沿着某个方向稍微离开 $\bar{x}$ 时，仍能满足这些约束（松约束）；而沿另一个方向离开 $\bar{x}$ 时，不论步长多么小，都会违背这些约束（紧约束）。

Fritz-John 条件：

$u_{0}\bigtriangledown f(\bar{x})-\sum_{i\in I(x)}u_{i}\bigtriangledown g_{i}(\bar{x})=0$
$\left\{\begin{matrix} u_{0}\bigtriangledown f(\bar{x})-\sum_{i=1}^{m}u_{i}\bigtriangledown g_{i}(\bar{x})=0\\ u_{i}\bigtriangledown g_{i}(\bar{x})=0 \end{matrix}\right.$

满足 Fritz-John 条件的点成为 Fritz-John 点。

K-T 条件：

与Fritz-John 条件相比，如果 $u_{0}\neq 0,u_{i}\geq 0$ ，且 $g_{i}$ 线性无关，则可得到 K-T 点。

同时需满足松紧条件：

$\left\{\begin{matrix} g_{i}(\bar{x})=0,u_{i}> 0\\ g_{i}(\bar{x})> 0,u_{i}=0 \end{matrix}\right.$

例题解析：

下面我来用两个例题来探究常见的如何判断 K-T 点和求 K-T 点：

例题1：求以下 K-T 点

$\left\{\begin{matrix} minf(x)=-2x_{1}-x_{2}\\ s.t. g_{1}=8-2x_{1}+x_2\geq 0\\g_2=14-x_1-2x_2\geq0\\g_3=4+x_1-x_2\geq0\\g_4=x_1\geq0\\g_5=x_2\geq0 \end{matrix}\right.$

解：

$\bigtriangledown f=(-2,-1)^{T}$

$\bigtriangledown g_1=(-2,1)^{T}$

$\bigtriangledown g_2=(-1,-2)^{T}$

$\bigtriangledown g_3=(1,-1)^{T}$

$\bigtriangledown g_4=(1,0)^{T}$

$\bigtriangledown g_5=(0,1)^{T}$

画出约束条件所规划的可行域，同时在顶点处画出对应约束条件的向量，与 $\bigtriangledown f=(-2,-1)^{T}$ 进行比较，由在起作用的约束条件所形成的可行凸锥内，若 $\bigtriangledown f$ 在可行凸锥内，则可视作 K-T 点，可以看出，C 为 K-T 点。

例题2：求以下 K-T 点

$\left\{\begin{matrix} minf(x)=(x_{1}-1)^{2}+x_{2}\\ s.t. g_{1}=2-x_{1}-x_2\geq 0\\g_2=x_2\geq0 \end{matrix}\right.$

解：

构造拉格朗日函数： $L=f(x)-u_{1}g_{1}-u_2g_{2}$

$\left\{\begin{matrix} L_{x_{1}}=0\\ L_{x_{2}}=0 \\ u_1g_1=0 \\ u_2g_2=0 \\ u_1,u_2\geq 0 \end{matrix}\right.$ $\Rightarrow \left\{\begin{matrix} 2x_{1}-2+u_1=0\\ 1+u_1-u_2=0 \\ u_1(2-x_1-x_2)=0 \\ u_2x_2=0\\ u_1,u_2\geq 0 \end{matrix}\right.$