1.优化与凸优化简介
优化问题基本形式
优化问题的一般形式:
最
小
化
:
f
0
(
x
)
最小化:f_0(x)
最小化:f0(x)
条
件
:
f
i
(
x
)
≤
b
i
,
i
=
1
,
.
.
.
,
m
.
条件:f_i(x)\leq b_i,i=1,...,m.
条件:fi(x)≤bi,i=1,...,m.
其中
f
0
(
x
)
f_0(x)
f0(x)为目标函数,条件里的不等式是限制条件。
举例:极大似然估计,最小二乘法。
凸优化问题的基本形式
凸优化问题的一般形式:
最
小
化
:
f
0
(
x
)
最小化:f_0(x)
最小化:f0(x)
条
件
:
f
i
(
x
)
≤
b
i
,
i
=
1
,
.
.
.
,
m
.
条件:f_i(x)\leq b_i,i=1,...,m.
条件:fi(x)≤bi,i=1,...,m.
其中
f
0
(
x
)
f_0(x)
f0(x)为目标函数,条件里的不等式是限制条件。
- 凸优化问题的条件, f 0 , f 1 , . . . , f m f_0,f_1,...,f_m f0,f1,...,fm都是凸函数。
- 凸优化问题的特点,局部最优解等价与全局最优解。
- 凸优化的问题求解,几乎总有现成的工具来求解。
2.凸集合与凸函数基本概念
凸集合与凸函数的关系
- 凸集合定义:如果一个集合
Ω
\Omega
Ω中任何两点之间的线段上任何一个点还属于
Ω
\Omega
Ω,那么
Ω
\Omega
Ω就是一个凸集合:
λ x 1 + ( 1 − λ ) x 2 ∈ Ω , ∀ x 1 , x 2 ∈ Ω , λ ∈ ( 0 , 1 ) \lambda x_1+(1-\lambda)x_2 \in \Omega,\forall x_1,x_2 \in \Omega,\lambda \in (0,1) λx1+(1−λ)x2∈Ω,∀x1,x2∈Ω,λ∈(0,1) - 凸函数定义:如果一个函数
f
f
f定义域
Ω
\Omega
Ω是凸集,而且对于任意两点。以及两点之间线段上任意一个点都有:
f ( λ x 1 + ( 1 − λ ) x 2 ) ≤ λ f ( x 1 ) + ( 1 − λ ) f ( x 2 ) , ∀ x 1 , x 2 ∈ Ω , λ ∈ ( 0 , 1 ) f( \lambda x_1+(1-\lambda)x_2 )\leq \lambda f(x_1)+(1-\lambda)f(x_2),\forall x_1,x_2 \in \Omega,\lambda \in (0,1) f(λx1+(1−λ)x2)≤λf(x1)+(1−λ)f(x2),∀x1,x2∈Ω,λ∈(0,1) - 函数的上镜图:假设 f f f是一个定义在 Ω \Omega Ω上的函数,区域 { ( x , y ) : y ≥ f ( x ) , ∀ x ∈ Ω \{(x,y):y \ge f(x) ,\forall x \in \Omega {(x,y):y≥f(x),∀x∈Ω就是 f f f的上镜图。上镜图就是函数图像上方的部分区域。
- 凸集合与凸函数:一个函数就是凸函数当且仅当 f f f的上镜图是凸集和。
- 凸组合:对于任何
n
n
n个点
{
x
i
}
i
=
1
n
\{x_i\}_{i=1}^{n}
{xi}i=1n,以及权重系数
{
w
i
}
i
=
1
n
\{w_i\}_{i=1}^n
{wi}i=1n.若权重系数非负
w
i
≥
0
w_i\ge 0
wi≥0而且
∑
i
=
1
n
w
i
x
i
\sum_{i=1}^n w_ix_i
i=1∑nwixi
为一个凸组合.凸组合的物理意义可以理解为 n n n个重量为 w i w_i wi的点的整体重心。 - 集合的凸包: n n n个点 { x i } i = 1 n \{x_i\}_{i=1}^n {xi}i=1n的全部凸组合就构成了 { x i } i = 1 n \{x_i\}_{i=1}^n {xi}i=1n的凸包。
- 函数的凸闭包:如果 C C C是函数 f f f的上镜图, C ‾ \overline{C} C是 C 的 凸 包 , 那 么 以 C ‾ 为 上 镜 图 的 函 数 称 之 为 f 的 C的凸包,那么以\overline{C}为上镜图的函数称之为f的 C的凸包,那么以C为上镜图的函数称之为f的凸闭包.
凸集合与凸函数的性质对应
- 集合的凸包的性质:
若
C
‾
是
C
的
凸
包
,
那
么
若\overline{C}是C的凸包,那么
若C是C的凸包,那么:
- C ⊂ C ‾ C\subset \overline{C} C⊂C;
- C 的 支 撑 平 面 也 是 C ‾ 的 支 撑 平 面 ( 有 多 个 支 撑 平 面 ) , 反 正 亦 然 。 C的支撑平面也是\overline{C}的支撑平面(有多个支撑平面),反正亦然。 C的支撑平面也是C的支撑平面(有多个支撑平面),反正亦然。
- 函数的凸闭包的性质:
若
g
是
f
的
凸
闭
包
,
那
么
:
若g是f的凸闭包,那么:
若g是f的凸闭包,那么:
- g ≤ f g\le f g≤f
- i n f { g } = i n f { f } inf\{g\}=inf \{f\} inf{g}=inf{f}(inf 是 infimum 的简称,一个集合最大的下界。)