凸优化最基础的优化方法,设定凸函数、凸集合条件,满足该条件的优化问题可以方便地求解,同时非凸优化问题可以转化成凸优化问题求解,这是凸优化最有价值的地方。
1 凸集
凸集定义:对于集合D,若对于任意两点满足:
并且该连线上任一点处于集合中,则集合D为凸集,反之为凹集。
直观理解:
2 凸函数
2.1 凸函数定义
对于凸集D,如果对于任意的,恒有:
则函数为凸集D上的凸函数。如果恒有如下公式:
则函数为凸集D上的严格凸函数。
直观理解如下:
AB连线上的点大于等于之间的。
2.2 凸函数判定方法
通过Hession矩阵判定,如果的Hession矩阵处处半正定,则函数凸函数;如果函数Hession矩阵处处正定,函数为严格凸函数。
3 凸优化
同时满足优化的目标函数为凸函数,可行域为凸集,称之为凸优化,表达式如下:
凸优化非常易于解决,如果一个实际的问题可以被表示成凸优化问题,那么我们就可以认为其能够得到很好的解决。并且对于凸优化问题来说,局部最优解就是全局最优解。同时,非凸优化问题可以转化为凸优化问题进行解决,比如拉格朗日乘子法等。