凸优化的基本概念

基本定义和概念

广义定义：目标函数凸，约束凸

一般优化问题：
$$\min f_0(x),s.t.f_i(x)\le 0,i=1,\cdots ,M,h_i(x)=0,i=1,\cdots ,P$$
优化变量(optimization variable)：$x:R^n$，

目标函数\损失函数(objective function cost function)(max的话叫做效用函数 utility function)：$f_0:R^n\to R$

不等式约束(inequality constraint)：$f_i:R^n\to R$

等式约束（equality constraint）：$h_i:R^n\to R$

Notes：如果$M=P=0$，叫做无约束优化问题

优化问题的域(dominant)：$D={\bigcap }_{i=0}^{M}dom(f_i)\cap {\bigcap }_{i=0}^{P}dom(h_i)$

可行解集(feasible set)： X f = { x ∣ x ∈ D , f i ( x ) ≤ 0 , h i ( x ) = 0 } X_f=\{x|x\in D,f_i(x)\leq 0,h_i(x)=0\} Xf​={x∣x∈D,fi​(x)≤0,hi​(x)=0}

最优值(optimal value)： p ∗ = inf ⁡ { f 0 ( x ) ∣ x ∈ X f } p^*=\inf\{f_0(x)|x\in X_f\} p∗=inf{f0​(x)∣x∈Xf​}

Notes：如果$X_f$是空集，$p^{\ast }=+\infty$

最优解集(optimal set)： X o p t = { x ∗ ∣ x ∗ ∈ X f , f 0 ( x ∗ ) = p ∗ } X_{opt}=\{x^*|x^*\in X_f,f_0(x^*)=p^*\} Xopt​={x∗∣x∗∈Xf​,f0​(x∗)=p∗}

$ϵ$次优解集($ϵ$-suboptimal set)： X ϵ = { x ∗ ∣ x ∗ ∈ X f , f 0 ( x ∗ ) ≤ p ∗ + ϵ } X_{\epsilon}=\{x^*|x^*\in X_f,f_0(x^*)\leq p^*+\epsilon\} Xϵ​={x∗∣x∗∈Xf​,f0​(x∗)≤p∗+ϵ}，真正需要的不一定是最优解，通常满足一定的条件和误差就够了。(satisfy suffice->satisfice solution)

局部最优解(locally optimal)： f 0 ( x ) = inf ⁡ { f 0 ( z ) ∣ f i ( z ) ≤ 0 , h i ( z ) > 0 , ∥ z − x ∥ ≤ R } f_0(x)=\inf \{f_0(z)|f_i(z)\leq 0,h_i(z)>0,\|z-x\|\leq R\} f0​(x)=inf{f0​(z)∣fi​(z)≤0,hi​(z)>0,∥z−x∥≤R}，存在$R$使得$x$局部最优

局部最优解集(locally optimal set)：$X_{loc}$

活动约束(active)：如果对于可行解集中的$x$，存在$f_i(x)=0$，那么此项约束$f_i(x)\le 0$称为活动约束。

不活动约束(inactive)：如果对于可行解集中的$x$，都有$f_i(x)<0$，即不等式约束严格成立，那么此项约束$f_i(x)\le 0$称为不活动约束。