约束优化方法

约束优化方法

• 无约束优化
• 等式约束的最优性条件
• 不等式约束问题的最优性条件
• 一般约束问题的最优性条件

无约束优化 $x\in {\mathbb{R}}^N$
$$\underset{x}{\min }f(x)$$ 有函数解析式时，由Fermat定理，对函数求导令其导数为零,即 ${\nabla }_{x}f(x)=0$
无函数解析式时，可以通过梯度下降法，牛顿法等迭代方法使沿着负梯度方向下降逐步逼近极小点.

1 \quad 等式约束的最优性条件

$$\min f(x)(1)$$$$\text{ s.t. }{h}_i(x)=0,i=1,2,\cdots ,l$$
定理1-1 (拉格朗日定理（KKT条件))假设$x^{\ast }$是问题$(1)$的局部极小点， $f(x)$和 $h_i(x^{\ast })(i=1,2,\dots ,l)$在$x^{\ast }$的某邻域内连续可微。若向量组$\nabla h_i\left(x^{\ast }\right)(i=1,2,\dots ,l)$线性无关，则存在乘子向量${\lambda }^{\ast }={\left({\lambda }_1^{\ast },{\lambda }_2^{\ast },\cdots ,{\lambda }_l^{\ast }\right)}^T$，使得$${\nabla }_{x}L\left(x^{\ast },{\lambda }^{\ast }\right)=0$$即$$\nabla f\left(x^{\ast }\right)-\sum _{i=1}^l{\lambda }_i^{\ast }\nabla h_i\left(x^{\ast }\right)=0$$定理1-2    \; 对于等式约束问题$(1)$，假设$f(x)$和$h_i(x)(i=1,2,\dots ,l)$都是二阶连续可微的，并且存在$\left(x^{\ast },{\lambda }^{\ast }\right)\in {\mathbb{R}}^n\times {\mathbb{R}}^l$，使得$\nabla L\left(x^{\ast },{\lambda }^{\ast }\right)=0$。若对任意的$0̸=d\in {\mathbb{R}}^n,\nabla h_i{\left(x^{\ast }\right)}^{T}d=0(i=1,2,\dots ,l)$，,均有$d^T{\nabla }_{xx}^{2}L\left(x^{\ast },{\lambda }^{\ast }\right)d>0$ 则$x^{\ast }$是问题$(1)$的一个严格局部极小点.

2 \quad 不等式约束问题的最优性条件

$$\min f(x)(2)$$$$\text{ s.t. }{g}_i(x)\ge 0,i=1,2,\cdots ,m$$ 记可行域为 D = { x ∈ R n ∣ g i ( x ) ≥ 0 , i = 1 , 2 , ⋯   , n } \mathcal{D}=\left\{x \in \mathbb{R}^{n} | g_{i}(x) \geq 0, i=1,2, \cdots, n\right\} D={ x∈Rn∣gi​(x)≥0,i=1,2,⋯,n} ，指标集 I = { 1 , ⋯   , m } I=\{1, \cdots, m\} I={ 1,⋯,m}
不等式约束问题的最优性条件需要用到有效约束和非有效约束的概念。对于一个可行点$\overline{x}$，即$\overline{x}\in \mathcal{D}$，此时可能会出现两种情形。即有效约束函数满足$g_i(\overline{x})=0$，而另一些约束函数满足$g_i(\overline{x})>0$，对于后一种情形，在$\overline{x}$的某一个领域内仍然保持$g_i(\overline{x})>0$成立，而前者不具备这种性质，因此有必要把这两种情形区分开来.

定义1    \; 若问题$(1)$的一个可行点$\overline{x}\in \mathcal{D}$使得
$g_i(\overline{x})=0$，则称不等式约束$g_i(x)\ge 0$为$\overline{x}$有效约束，反之若有$g_i(\overline{x})>0$，则称不等式约束为$g_i(x)>0$的非有效约束。称集合
I ( x ‾ ) = { i : g i ( x ‾ ) = 0 } I(\overline{x})=\left\{i : g_{i}(\overline{x})=0\right\} I(x)={ i:gi​(x