凸函数与凸优化

凸集：

如果对于一个集合S中的任意两个点A和B，这两个点的连线AB也在S内，那么S就是一个凸集。换句话说，凸集不能有洞，不同有任何凹陷。

凸函数

：一个函数f满足
（1）它的定义域是凸集
（2）对于其定义域中的任意两点x1，x2，对任意0≤α≤1，f(αx1+(1−α)x2)≤αf(x1)+(1−α)f(x2)
那么这个函数f就是凸函数。
比如实数域上的f(x)=x2就是凸函数，f(x)=sinx就不是凸函数。

凸优化

证明凸函数局部最优解即是全局最优解

是的，对于凸优化来说，局部最优就是全局最优，换句话说，极小值就是最小值。
至于为什么？这个就是数学证明了，这个要用到凸函数、凸集的定义。
我们可以用反证法来证明。已知x0是个局部最优点，假设在全集S上存在一个点x∗，使得
f(x∗)<f(x0).

因为f(x)是凸函数，所以对于任意的t
f(tx∗+(1−t)x0)≤tf(x∗)+(1−t)f(x0)<tf(x)+(1-t)f(x0)=f(X0)

注意，这个t是0到1之间的任意值，所以t可以非常接近0，此时(tx∗+(1−t)x0)这个点就可以无限接近x0，
但是函数在这个点的值又比f(x0)小，所以f(x0)不可能是局部最小值。故假设矛盾，因此不存在这样的x∗。
f(x0)必定为最小值。