凸集
定义:集合C内任意两点间的线段均在集合C内,则称集合C为凸集,即:
然后拓展到K个点即:
例如:
超平面、半空间、多面体
超平面hyperplane: {x ∣ aT x = b}
如果向量a乘以X等于b,则这个表达的任意的x就代表超平面。
如果将等号变为大于等于或者小于等于,则这个任意的x就代表超平面所确定的半空间。
半平面(半空间)halfspace: {x ∣ aT x ≤ b} ,{x ∣ aT x ≥ b}
多面体:有限个半空间和超平面的交集。
事实上放射集(超平面、直线)、射线、线段、半空间都是广义上的多面体。
显然多面体是凸集。
分割超平面
设C和D为两不相交的凸集,则存在超平面P,P可以将C和D分离。
分割超平面的构造:
两个集合的距离,定义为两个集合间元素的最短距离。然后做集合C和集合D最短线段的垂直平分线。
支撑超平面
设集合C,x0为C边界上的点。若存在a≠0,满足对任意x∈C,都有aTx≤aTx0,成立,则称超平面{xIaTx=aTx0}为集合C在点x0处的支撑超平面。
凸集边界上任意一点,均存在支撑超平面。反之,若一个闭的非中空(内部点不为空)集合,在边界上的任意一点存在支撑超平面,则该集合为凸集。
凸函数
记得高数上的凸函数判断方法是: f((x1+x2)/2 ≤ (f(x1)+f(x2))/2成立
现在有一种定义方法:
这个定义看图之后一目了然:
一阶可微
结合凸函数图像和支撑超平面理解,对于凸函数,其一阶Taylor近似本质上是该函数的全局下估计。反之,如果一个函数的一阶Taylor近似总是起全局下估计,则该函数是凸函数。
该不等式说明从一个函数的局部信息,可以得到一定程度的全局信息。
二阶可微
若函数f二阶可微,则函数f为凸函数当前仅当dom为凸集,且
若f是一元函数,上式表示二阶导大于等于0
若f是多元函数,上式表示二阶导Hessian矩阵半正定。
凸函数的性质
性质1: 设f (x)为定义在凸集S上的凸函数,则对任意实数β > 0 , 函数βf (x)也是定义在凸集S上的凸函数。
性质2: 设f1 (x)和f2 (x)都是定义在凸集S上的凸函数,则函数 f1 (x) + f2 (x)也是定义在凸集S上的凸函数。
性质3: 设f (x)为定义在凸集S上的凸函数,则对任意实数β,集合 Sβ = {x∣x ∈ S, f (x) ≤ β}是凸集。
性质4: 设f (x)为定义在凸集S上的凸函数,则f (x)的任一个极小点就是它在S上的全局极小点,而且所有极小点的集合是凸集。
凸优化
优化问题的基本形式
minimize : f0(x), x∈Rn
subject to : fi(x)≤0, i=.,…,m
hj(x)=0, j=…p
优化变量 x∈Rn
不等式约束fi(x)≤0
等式约束 hj(x)=0.
无约束优化 m= p=0
凸优化问题的基本形式
minimize : f0(x), x∈Rn
subject to :
fi(x)≤0, i=.,…,m
hj(x)=0, j=…p
fi(x)(0≤i≤m)为凸函数,hj(x)(1≤i ≤p)为仿射函数
凸优化问题的重要性质:可行域为凸集;局部最优解即为全局最优解
举个例子
要用薄钢板制造一体积为5m3的无盖货箱,由于运输装载要求, 其长度不小于4m。问: 长、宽、高维多少用料最省?
解:分析可知,钢板的耗费量与货箱的表面积成正比。设货箱的长、宽、高分别为X1,X2,X3,货箱的表面积为S,则该问题的物理表达式为:
(1)货箱的钢板耗费量(即货箱的表面积用料)最少:
S=x1x2 + 2(x1x3 + x2x3)→min
可见货箱的表面积取决于货箱的长度X1宽度x2和高度x3。
(2)满足的条件: x≥4;x2≥0;x3≥0
按优化数学模型的规范形式,可归纳为如下数学模型:
设计变量:X=[x1 x2 x3]T
目标函数的极小化: min f(X)= S = x1x2 +2(x1x3 + x2x3)
约束条件:
g1(X)=4-x1≤0
g2(X)=-x2≤0
g3(X)=-x3≤0
h(X)=5- x1x2x3=0
由等式约束条件可知,三个设计变量中只有两个是独立变量,即x3 =5/x1x2
所以,该问题的优化数学模型应写为:
设计变量: X=[x1 x2]T
目标函数的极小化: min f(X)=x1x2 +2(x1x3 + x2x3)=x1x2 +10(1/x1 + 1/x2)
约束条件:
g1(X)=4-x1≤0
g2(X)=-x2≤0
h(X)=5- x1x2x3=0
这样使该优化问题的数学模型更为准确、精炼
对偶问题
对于一般优化问题构造拉格朗日函数:
minimize : f0(x), x∈Rn
subject to :
fi(x)≤0, i=.,…,m
hj(x)=0, j=…p
鞍点
为表述方便,假设没有等式约束,只考虑不等式约束,结论可方便的扩展到等式约束。
假设x0不可行,即存在某些i,使得fi(x)>0。则选择λi→∞,对于其他乘子λj=0,j≠i ,假设x0可行,则有fi(x)≤0,(i=1,2,m),选择λi=0,i= 1,…,m 有:
最优点
原问题是求f0(x)的下确界 inf f0(x),本质也就是对拉格朗日函数先求上确界再求下确界:
而对偶问题是求对偶函数的最大值即:
但是:
关于上面不等式的证明如下:
定义域内任意的 x,y都有:
强对偶条件
若要对偶函数的最大值即为原问题的最小值,考察需要满足的条件:
所以要取等号的话需要满足
这就是KKT条件。