1 数学优化
优化:从一个可行解的集合中,寻找出最优的元素。
数学表达式:
m
i
n
i
m
i
z
e
f
0
(
x
)
s
u
b
j
e
c
t
t
o
f
i
(
x
)
≤
b
i
,
i
=
1
,
…
m
.
(1.1)
minimize\quad f_0(x) \\ subject\quad to\quad f_i(x)\leq b_i,\quad i=1,\dots m.\tag{1.1}
minimizef0(x)subjecttofi(x)≤bi,i=1,…m.(1.1)
- x = [ x 1 , … , x n ] T x=[x_1,\dots ,x_n]^T x=[x1,…,xn]T为优化变量;
- f 0 : R n → R f_0:R^n\rightarrow R f0:Rn→R为目标函数;
-
f
i
:
R
n
→
R
f_i:R^n\rightarrow R
fi:Rn→R为约束函数
最优解: x ∗ x^* x∗为最优解 ⟺ ∀ z , f 0 ( z ) ≥ f 0 ( x ∗ ) , z ∈ { f i ( z ) ≤ b i , i = 1 , … , m } \iff \forall z,f_0(z)\geq f_0(x^*),z\in{\{f_i(z)\leq b_i,i=1,\dots,m\}} ⟺∀z,f0(z)≥f0(x∗),z∈{fi(z)≤bi,i=1,…,m}
应用:
- 数据拟合问题
- 投资组合优化
- 器件尺寸问题
分类:
- 线性规划&非线性规划
线性规划: f i ( α x + β y ) = α f i ( x ) + β f i ( y ) f_i(\alpha x+\beta y)=\alpha f_i(x)+\beta f_i(y) fi(αx+βy)=αfi(x)+βfi(y),单纯形法、内点法
- 凸规划&非凸规划 \quad 区分容易和困难
凸规划: f i ( α x + β y ) ≤ α f i ( x ) + β f i ( y ) f_i(\alpha x+\beta y)\leq\alpha f_i(x)+\beta f_i(y) fi(αx+βy)≤αfi(x)+βfi(y),目标函数是凸函数且可行解集是凸集
线性规划问题一定是凸规划问题
- 光滑&非光滑
针对目标函数 f 0 ( x ) f_0(x) f0(x),光滑:函数在每一个点上都可微
- 连续&离散
针对可行域
- 单目标&多目标
多目标可以加权变为单目标