课本:《凸优化》Stephen Boyd, Lieven Vandenberghe 著;王书宁 译;清华大学出版社
凸函数定义:
函数
f
f
f:
R
n
→
R
R^{n}\rightarrow R
Rn→R是凸的,如果dom
f
f
f是凸集,且对于任意
x
,
y
∈
x,y \in
x,y∈ dom
f
f
f和任意
0
≤
θ
≤
1
0 \leq \theta \leq 1
0≤θ≤1,有:
f
(
θ
x
+
(
1
−
θ
)
y
)
≤
θ
f
(
x
)
+
(
1
−
θ
)
f
(
y
)
f(\theta x+(1-\theta)y)\leq\theta f(x)+(1-\theta)f(y)
f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)
凸函数一阶条件:
假设
f
f
f可微(即其梯度
▽
f
\bigtriangledown f
▽f在开集dom
f
f
f内处处纯在),则函数
f
f
f是凸函数的充要条件是dom
f
f
f是凸集且对于任意
x
,
y
∈
x,y\in
x,y∈dom
f
f
f,下式成立:
f
(
y
)
≥
f
(
x
)
+
▽
f
(
x
)
T
(
y
−
x
)
f(y) \geq f(x)+\bigtriangledown f(x)^{T}(y-x)
f(y)≥f(x)+▽f(x)T(y−x)
凸函数二阶条件:
现在假设函数
f
f
f二阶可微,即对于开集dom
f
f
f内的任意一点,它的Hessian矩阵或者二阶导数
▽
2
f
\bigtriangledown^{2} f
▽2f纯在,则函数
f
f
f是凸函数的充要条件是,其Hessian矩阵是半正定阵:
即
对
于
所
有
x
∈
d
o
m
f
,
有
▽
2
f
≥
0
即对于所有x\in dom f,有\bigtriangledown^{2} f \geq 0
即对于所有x∈domf,有▽2f≥0
例子:
- 指数函数:对任意 a ∈ R a\in\mathbb{R} a∈R,函数 e a x e^{ax} eax在 R \mathbb{R} R上是凸的。
- 幂函数:当 a ≥ 1 a\geq 1 a≥1或 a ≤ 0 a\leq0 a≤0时, x a x^{a} xa在 R + + \mathbb{R_{++}} R++上是凸函数,当 0 ≤ a ≤ 1 0\leq a \leq 1 0≤a≤1时, x a x^{a} xa在 R + + \mathbb{R_{++}} R++上是凹函数。
- 绝对值幂函数:当 p ≥ 1 p\geq 1 p≥1时,函数 ∣ x ∣ p \left | x \right |^{p} ∣x∣p在 R \mathbb{R} R上是凸函数。
- 对数函数:函数 x log x x\text{log}x xlogx在 R + + \mathbb{R_{++}} R++是凹函数。