最近研究的问题涉及到比较复杂的凸优化知识,看了很多博客和书籍,收获颇多,但是还是有很多坎跨不过去,以前没感觉到,自己真的不比当年了。所以在这里还是要劝大家,青春宝贵,勿要荒废。
本篇主要是介绍一些凸优化的数学概念和定义,我觉得数学定义真的是数学的精华,如同物理里的定理一般。很多人学物理觉得很难,高中那会我也觉得,但是其实呢,我们花费了太多的时间去做题练习却很少花时间想想这些物理定理的本质,思考解决问题的思路。当然我也没有这种思维模式,或者说从未建立过这种思维模式,挺可惜的。
进入正题:
凸集:
定义是判断凸集的最重要的依据,根据定义,可以轻松判断下面几个集合是否是凸集:
(a)不是凸集,在垂直的两条边上选取两个点,不满足凸集定义;(b)不是凸集,在上方边界上存在半开区间和闭区间,闭区间上选取两点,在这两点之间的点可能经过半开区间,这些边界的点不属于集合。
凸函数:
凸函数定义:
凸函数的一阶特性:
凸函数的二阶特性:
还有一个比较重要的概念,上镜图(epigraph),这个概念的数学定义没有几何来的直观,所以就从《Convex Optimization》书中搬一张图:
上图中黑色的线是函数f,f的上镜图就是阴影部分,当上镜图是凸集的时候,函数f就是凸函数。