对于凸优化来说,局部最优就是全局最优,换句话说,极小值就是最小值。
至于为什么?这个就是数学证明了,这个要用到凸函数、凸集的定义。
我们可以用反证法来证明。已知x0x0是个局部最优点,假设在全集SS上存在一个点x∗x∗,使得
f(x∗)<f(x0).f(x∗)<f(x0).
因为f(x)f(x)是凸函数,所以对于任意的tt
f(tx∗+(1−t)x0)≤tf(x∗)+(1−t)f(x0)f(tx∗+(1−t)x0)≤tf(x∗)+(1−t)f(x0)
注意,这个tt是00到11之间的任意值,所以tt可以非常接近00,此时(tx∗+(1−t)x0)(tx∗+(1−t)x0)这个点就可以无限接近x0x0,但是函数在这个点的值又比f(x0)f(x0)小,所以f(x0)f(x0)不可能是局部最小值。故假设矛盾,因此不存在这样的x∗x∗。f(x0)f(x0)必定为最小值。