本系列blog所有内容大多都来自于凸优化一书,请多多指教
函数的定义:函数f:Rn → R 若dom f 是凸集(即对任意的x,y属于dom f,θ1x+θ2y也属于domf,θ1+θ2=1 and θ1,θ2>=0),且 for all x, y ∈ domf, and θ with 0 ≤ θ ≤ 1
f(θx + (1 − θ)y) ≤ θf(x) + (1 − θ)f(y).
则该函数为凸函数,凸函数有一个十分有用的性质,对接下来证明二阶充要条件十分关键。
A function is convex if and only if it is convex when restricted to any line that
intersects its domain. In other words f is convex if and only if for all x ∈ domf and
all v, the function g(t) = f(x+tv) is convex (on its domain, {t | x+tv ∈ domf}).
这个性质将多维空间上函数的凸性证明约束到了一条直线上(这条直线是任意的,只要它仍在dom f内即可,且其定义域依旧是凸集,有兴趣的同学可以自行验证)
接下来一阶,二阶条件的证明均采用了这个性质的思路(即先证明f:R → R,再证明一般情况)
先给出凸函数的一阶充要条件(这里我们假设其一阶导存在)
f(y) ≥ f(x) + ∇f(x)T (y − x)
函数的一阶充要条件在f:R → R上是显而易见的,这里不给出详细的证明过程,具体内容参见原文凸优化一书,这里给出几何解释
The affine function