最优化基础（四）

最优化基础（四）1

凸集与凸函数

定义: 设集合D⊂Rn. 称集合D为凸集, 是指对任意的x,y∈D及任意的实数λ∈[0,1], 都有λx+(1−λ)y∈D.

定义: 集合D⊂Rn 的凸包(convex hull) 是指所有包含D 的凸集的交集，记为

conv(D):=∩C⊇DC

其中 C为凸集

定义: 设非空集合C⊂Rn. 若对任意的x∈C 和任意的实数λ>0，有λx∈C, 则称C 为一个锥(cone). 若C 同时也是凸集, 则称C为一个凸锥(convex cone). 此外, 对于锥C, 若0∈C, 则称C 是一个尖锥(pointed cone). 相应地, 包含0 的凸锥称为尖凸锥.**

定义:设函数f:D⊂Rn→R, 其中D 为凸集.

(1) 称f 是D上的凸函数, 是指对任意的x,y∈D及任意的实数λ∈[0,1], 都有

f(λx+(1−λ)y)≤λf(x)+(1−λ)f(y)

(2) 称 f是 D上的严格凸函数, 是指对任意的 x,y∈D,x≠y及任意的实数 λ∈[0,1], 都有

f(λx+(1−λ)y)<λf(x)+(1−λ)f(y)

(3) 称 f是 D 上的一致凸函数, 是指存在常数 γ>0, 使对任意的 x,y∈D 及任意的实数 λ∈[0,1], 都有

f(λx+(1−λ)y)+12λ(1−λ)γ∥x−y∥2≤λf(x)+(1−λ)f(y)

定理: 设 f 在凸集 D⊂Rn 上一阶连续可微，则

(1) f在D上为凸函数的充要条件是

f(x)≥f(x∗)+∇f(x∗)T(x−x∗),∀x∗,x∈D

(2) f在 D上为严格凸函数的充要条件是，当 x≠y时，成立

f(x)>f(x∗)+∇f(x∗)T(x−x∗),∀x∗,x∈D

(3) f在 D上一致凸的充要条件是,存在常数 c>0，使对任意的 x∗,x∈D，成立

f(x)≥f(x∗)+∇f(x∗)T(x−x∗)+c∥x−x∗∥2

定义: 设 n元实函数 f 在凸集 D上是二阶连续可微的. 若对一切 h∈Rn, 有 hT∇2f(x)h≥0，则称 ∇2f 在点 x处是半正定的. 若对一切 0≠h∈Rn, 有 hT∇2f(x)h>0，则称 ∇2f 在点 x处是正定的. 进一步，若存在常数 c>0, 使得对任意的 h∈Rn,x∈D, 有 hT∇2f(x)h≥c∥h∥2，则称 ∇2f 在 D 上是一致正定的. **

定理:设n 元实函数f 在凸集D⊂Rn上二阶连续可微, 则
(1) f 在D上是凸的充要条件是∇2f(x) 对一切x∈D为半正定；
(2) f在D 上是严格凸的充分条件是∇2f(x) 对一切x∈D 为正定；
(3) f 在D 上是一致凸的充要条件是∇2f(x) 对一切x∈D 为一致正定.

注意，∇2f 正定是f 严格凸的充分条件而非必要条件.

---

1. 马昌凤. 最优化方法及其Matlab程序设计[M]. 科学出版社, 2010. ↩

转载于:https://www.cnblogs.com/born2run/p/9581397.html