凸优化学习(一)

自己近段时间以来,一直在忙于对于凸优化问题的学习,看的书只要是Stephen Boyd的Convex Optimization同时参考了张贤达的矩阵分析与应用,现在自己来做个小结。 介绍的内容主要是遵循凸优化一书的轨迹,同时辅以自己的些许理解与感受。

基本理论

凸集合

凸集合用文字来理解很简单。它指的是若两个点属于某个集合,则连接这两点的线段亦属于这个集合。将这个概念加以延伸,便可以得到仿射(这两个点和这两点所确定的直线都属于原集合)和锥(某一点,和由点延伸的射线都属于原集合)的概念。用数学公式表达为:

凸集:

x,yC,θx+(1θ)yC
常见的凸集合有空集、点、直线、任意子空间、线段、超平面(aT=b)、Euclid球(B(xr,r)={x|xxr2r}={x|xxc)T(xxc)r2})多面体(P={x|Axb,Cx=d}

保凸运算

常见保凸运算有交集、仿射运算、线性分式函数以及透视函数
在这里。我想特别介绍一下仿射函数的含义,数学定义其实蛮抽象的
f:RnRm
f=Ax+b 其中ARm×nbRm
其实,它定义的是一个函数,将Rn的量转换为Rm的量,仅仅一个转化而已。
透视函数的定义为P(z,t)=z/t,较好理解,不赘述。

凸函数

凸函数含义

定义:

f(θx+(1θ)y)θf(x)+(1θ)f(y),x,yC,C

理解:

画图来看,其实就是一个下凹的函数,任意两点x,y的线段总在原函数上方。(注意,国内对于凹凸函数定义有不同版本,如同济版高数将此种函数称为凹函数,反之为凸,与此正好相反)

凸函数性质

1.x,y,f(y)f(x)+f(x)T(yx)

2.xdomf,2f(x)0

理解:

这重点内容两点其实是一元函数的扩展,将之在一元函数中理解,可以复习高数知识,二阶求导也称为Hessian矩阵,关于矩阵求导的知识,我在以后的博文中会详细介绍。

常见凸函数

常见的凸函数有:

一元凸函数:

指数函数
幂函数
绝对值函数
对数函数
负熵(xlogx

多元凸函数:

范数
最大值函数
二次—线性分式函数
指数和的对数
几何平均
对数—行列式

注记

在这里我要特别提出来,所有的范数都是凸函数,这是根据范数的定义得来的,关于范数的讨论,我以后会专门写博文加以分析。

保凸运算

非负加权求和
复合仿射映射
逐点最大和逐点上确界
复合函数(外凸非减里凸,外凸非增里凹)
透视函数
这里和前面凸集类似,不多说。

阅读更多

没有更多推荐了,返回首页