优化理论(二)凸集、保凸运算、广义不等式与对偶锥

本节主要讲凸集的概念以及保凸运算,这对于判断优化问题是否是凸的非常有帮助。这一节有一部分概念比较抽象,需要仔细研读。

凸集(Convex Set)

凸集

通过集合的任意两个点的线段还在集合中,即

这里写图片描述

仿射集(Affine Set)

通过集合的任意两个点的直线还在集合中

这里写图片描述

线性方程组的解集是一个仿射集。

凸组合(Convex Combination)

这里写图片描述

凸包(Convex Hull)

S的凸包是指S中所有点的凸组合组成的集合,凸包是包含S的最小的凸集。

锥(Cones)

锥组合Conic combination

这里写图片描述

是非负线性组合。

凸锥Convex Conic

任意两个点的锥组合还在集合中。

锥包Conic Hull

集合C的锥包是指C中所有元素的锥组合的集合

保凸运算

通过保凸运算,可以从凸集构造出其他凸集。

如何证明集合C的凸性?

有两种方法:

1.通过定义证明;

2.说明集合C可以通过一些简单的凸集(超平面,半空间,球,椭球,范数球,范数锥,多面体,半正定锥)通过保凸运算导出。

保凸运算包括:

  • 取交集
  • 仿射函数
  • 透视函数
  • 线性分式函数

取交集(Intersection)

任意凸集的交集都是凸集

这里写图片描述

上图的集合是凸集,因为p(t)关于x是线性函数,线性不等式的解集是凸集,要求对不同的t值成立,相当于取交集。所以S是凸集。

仿射函数(Affine Function)

设f是仿射函数,则凸集在f下的像以及原像都是凸的。

仿射函数具有形式: f(x)=Ax+b f ( x ) = A x + b

仿射函数包括:缩放、平移、投影

透视和线性分式函数(Perspective and Linear-fractional Function)

透视函数把向量的最后一维归一化为1,然后丢掉它。形式化地表达如下:

这里写图片描述

凸集的像和原像在透视变换下都是凸的。

仿射函数和透视函数都属于线性分式函数。线性分式函数可以看成是仿射函数和投射函数的合成。

这里写图片描述

投射解释 线性分式函数可以看成一个矩阵

Q=[ACTbd] Q = [ A b C T d ]

作用于点(x,1),得到 (Ax+b,cTx+d) ( A x + b , c T x + d ) ,再作归一化使得最后一个分量是1,得到 f(x),1 ( f ( x ) , 1 )

条件概率

条件概率可以看成是通过线性分式映射得到

广义不等式(Generalized Inequalities)

称锥 KRn K ⊆ R n 为正常锥(Proper Cones),如果满足:

  • K是凸的
  • K是闭的
  • K是实的,即有非空内部
  • K是尖的,即不包含直线

正常锥K可用来定义广义不等式

这里写图片描述

K=R+ K = R + 时,偏序关系 K ⪯ K 即为通常意义上的序

非负象限及分量不等式

非负象限是一个正常锥,相应的广义不等式 K ⪯ K 对应于向量不等式。

这里写图片描述

半正定锥和矩阵不等式

半正定锥 Sn S n 是正常锥,相应的广义不等式就是通常的矩阵不等式。即 XKY X ⪯ K Y 等价于 YX Y − X 是半正定矩阵。对 Sn+ S + n 有相似结论。

[0,1]上的非负的多项式锥

这里写图片描述

广义不等式的性质

传递性、自反、反对称等,类似于我们常见的不等式。

最小与极小元

广义不等式的一些性质与普通不等式有明显的区别,即对于R上的线性序,任意两点都是可比的,而这个性质对其他广义不等式并不成立。这导致了最大最小的概念在广义不等式下有一些不同。

最小元

可以直观理解成比集合中的每个元素都小( K ⪯ K )。形式化定义是

Sx+K S ⊆ x + K

极小元

可以直观理解成集合中没有比它更小的元素。形式化定义是

(xK)S=x ( x − K ) ∩ S = x

这里写图片描述

极小元有多个。

分离与支撑超平面

超平面分离定理

两个不想交的凸集C和D,存在一个超平面 aTxb a T x ≤ b ,把他们分离开。即对于集合D中所有元素非负,对于集合C中所有元素非正。

这里写图片描述

严格分离

不相交的凸集并不一定能被超平面严格分离,即使集合是闭集。

点和凸集的严格分离 如果C是闭凸集,而 x0C x 0 ∉ C ,那么存在将 x0 x 0 C C 严格分离的超平面。

超平面分离定理的逆定理

任何两个凸集,至少一个是开集,当且仅当存在分离超平面时,它们不相交。

支撑超平面定理

x0是集合 CRn C ⊆ R n 的边界 bd C b d   C 的一点,即

x0bd C=cl C/ int C x 0 ∈ b d   C = c l   C /   i n t   C

如果 aTxaTx0 a T x ≤ a T x 0 对集合中的任何一点 x x a0,则 {x|aTx=aTx0} { x | a T x = a T x 0 } 是集合C在点 x0 x 0 处的支撑超平面。

这里写图片描述

支撑超平面定理:对任意的非空凸集,在边界处存在支撑超平面。

逆定理:集合是闭的,并且有非空的内部,并且其边界上的每个点都存在支撑超平面,那么它是凸的。

对偶锥和广义不等式(Dual Cones and Generalized Inequalities)

对偶锥

K K 是一个锥,集合K={y|xTy0,xK}称为 K K 的对偶锥。K是一个锥,并且总是凸的,即使 K K 不是凸锥。

这里写图片描述

从几何上看,当且仅当yK K K 在原点的一个支撑超平面的法线的反向。

仔细分析,对偶锥是这样的一个区域。区域中的每个点与K中的每个点的夹角小于等于90°。 K K ∗ 的边界分别与 K K 的边界垂直。

这里写图片描述

常见对偶锥的例子:

  • 非负象限。锥R+n的对偶锥是它本身。称为自对偶。

    • 半正定锥。 Sn+ S + n 也是自对偶的
    • 范数锥的对偶:
    • 对偶锥满足的性质:

      如果 K K 是一个正常锥,那么它的对偶也是正常锥。K=K

      K K ∗ 是指 K K 的凸包和闭包,如果K是凸和闭的,那么 K=K K ∗ ∗ = K

      广义不等式的对偶(Dual Generalized Inequalities)

      因为正常锥的对偶也是正常锥,所以可以从正常锥的对偶导出一个广义不等式。称 K ⪯ K ∗ 为广义不等式 K ⪯ K 的对偶。

      关于广义不等式及其对偶的一些重要性质:

      这里写图片描述

      因为 K=K K ∗ ∗ = K

      对偶广义不等式的最小元与极小元

      待续

      参考文献

      [1] http://blog.csdn.net/xingce_cs/article/details/73748679
      [2]《凸优化》

  • 6
    点赞
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
仿射、仿射集、仿射组合、凸集、凸组合、、凸、正都是优化问题中常用的概念,下面我来简单解释一下它们的含义: 1. 仿射:指的是线性变换加上平移,即 $\mathbf{Ax}+\mathbf{b}$,其中 $\mathbf{A}$ 是一个矩阵,$\mathbf{b}$ 是一个向量。 2. 仿射集:指的是由仿射变换后的向量组成的集合。也就是说,对于一个仿射变换 $\mathbf{Ax}+\mathbf{b}$,它将一个向量集合 $\mathcal{X}$ 映射为另一个向量集合 $\mathcal{Y}$,那么 $\mathcal{Y}$ 就称为 $\mathcal{X}$ 的仿射集。 3. 仿射组合:指的是对于一个向量集合 $\mathcal{X}$ 中的向量 $x_1, x_2, \cdots, x_k$,它们的仿射组合表示为 $\sum_{i=1}^k \alpha_i x_i$,其中 $\sum_{i=1}^k \alpha_i=1$,$\alpha_i\geq 0$。 4. 凸集:指的是对于一个向量集合 $\mathcal{X}$,如果对于任意的 $x_1, x_2 \in \mathcal{X}$,$\theta x_1 + (1-\theta)x_2 \in \mathcal{X}$,其中 $0\leq \theta \leq 1$,则称 $\mathcal{X}$ 是凸集。 5. 凸组合:指的是对于一个向量集合 $\mathcal{X}$ 中的向量 $x_1, x_2, \cdots, x_k$,它们的凸组合表示为 $\sum_{i=1}^k \alpha_i x_i$,其中 $\sum_{i=1}^k \alpha_i=1$,$\alpha_i\geq 0$。 6. :指的是对于一个向量集合 $\mathcal{X}$,如果对于任意的 $x\in \mathcal{X}$,$\theta x \in \mathcal{X}$,其中 $\theta\geq 0$,则称 $\mathcal{X}$ 是。 7. 凸:指的是一个凸集和一个的交集,即对于一个向量集合 $\mathcal{X}$,如果它既是凸集又是,则称 $\mathcal{X}$ 是凸。 8. 正:指的是一个凸中的非空内部,即对于一个向量集合 $\mathcal{X}$,如果 $\mathcal{X}$ 是凸且存在一个向量 $x\in \mathcal{X}$,使得对于任意的 $y\in \mathcal{X}$,都有 $\langle x,y\rangle >0$,则称 $\mathcal{X}$ 是正。 希望以上解释能够让你更好地理解这些概念。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值