数值优化综述

基本概念

数值优化问题的一般形式如下：
m i n x ⃗ f 0 ( x ⃗ ) s . t . f i ( x ⃗ ) ≤ 0 , i ∈ I = { 1 , 2 , … , m } h i ( x ⃗ ) = 0 , i ∈ E = { 1 , 2 , … , p } x ⃗ ∈ R n \begin{aligned} min_{\vec{x}} &\quad f_{0}(\vec{x}) \\ s.t. &\quad f_{i}(\vec{x}) \leq 0, i\in\mathcal{I}=\{1,2,\dots,m\} \\ &\quad h_{i}(\vec{x}) = 0, i\in\mathcal{E}=\{1,2,\dots,p\} \\ &\quad \vec{x}\in R^{n} \end{aligned} minx ​s.t.​f0​(x )fi​(x )≤0,i∈I={ 1,2,…,m}hi​(x )=0,i∈E={ 1,2,…,p}x ∈Rn​
其中，$f_0(\vec{x})$称为优化目标或目标函数（objective），$\vec{x}$称为决策变量（variables）， { f i ( x ⃗ ) ∣ i ∈ I } \{f_{i}(\vec{x})|i\in\mathcal{I}\} { fi​(x )∣i∈I}称为不等式约束函数， { h i ( x ⃗ ) ∣ i ∈ E } \{h_{i}(\vec{x})|i\in\mathcal{E}\} { hi​(x )∣i∈E}称为等式约束函数，两者合称为约束函数。其他形式的数值优化问题均可等价转化为上述形式。

向量$x$