最优化理论与方法-第二讲-凸集

最新推荐文章于 2023-08-31 17:43:55 发布

skycrygg

最新推荐文章于 2023-08-31 17:43:55 发布

阅读量5.1k

点赞数 5

分类专栏： # 最优化笔记（证明）

本文链接：https://blog.csdn.net/qq_42518956/article/details/113943943

版权

最优化笔记（证明）专栏收录该内容

3 篇文章 4 订阅

订阅专栏

原文视频：https://www.bilibili.com/video/BV1rE411H7P6

凸集

举例：

（1） $min\:f(x),s.t.\:x\in[a,b)$

（2） $min\: x_1^2+x_2^2\;s.t.x\in S$

其中 $x^*$ 为最优点，此时对于凸集S来说， $x^*$ 的负梯度方向 与 $x^*$ 到 S内的所有点的方向所呈夹角必定大于90度

即： $-\bigtriangledown f(x^*)^T(x-x^*)\leq0,\:\forall x\in S$

基本定义

凸集（convex set ）：

对于任意的x,y $\in$ C与任意的 $\lambda \in [0,1]$ 有

$\lambda x+(1-\lambda)y\in C$

凸组合（convex combination）：

$\lambda_1 x^1+\cdots +\lambda_k x^k$

其中， $\lambda_1,\cdots,\lambda_k \geq0,\sum_{i=1}^{k}\lambda_i=1$ ，

补充：

线性组合： $\lambda_1 x_1+\cdots +\lambda_k x_k$

放射组合： $\lambda_1 +\cdots+\lambda_k=1$

凸包(convex hull of set C)：

由C中点的凸组合构成（将非凸集凸化）

常见凸集

超平面 hyperplane： $H=\left\{ x|a^Tx =b \right\}(a\neq 0);$

半空间 halfspace： $\\ H^+=\{ x|a^Tx \geq b\}(a\neq 0);\\ H^-=\{ x|a^Tx \leq b\}(a\neq 0);$
多面体polyhedra：多个线性不等式所刻画的集合： $\{ x|a^T_ix\leq b_i,i=1,\cdots,m\}$

注：线性等式刻画的集合也是多面体！（可以将等式，转换为两个不等式）

球体：（Euclidean）ball with center $x_c$ and radius r；

$B(x_c,r)=\{x| \| x-x_c \|_2 \leq r \} = \{ x_c + ru| \|u\|_2 \leq 1\}$

椭球（Ellipsoid）：

$\{x| (x-x_c)^T P^ {-1} (x-x_c)\leq 1 \} ;$ 其中 P为正定矩阵; 椭球的轴长为 $\sqrt{\lambda_i}$

二阶锥：Second-order cone, ice-cream cone:

$\{ (x,t)| \|x\|_2\leq t\}$

半定矩阵锥：

$S^n$ ：所有n阶对称矩阵组成的集合；
$S^n_+ = \{ X\in S^n|X\succeq 0\}$ ：所有半正定矩阵组成的集合，其中： $X\succeq0 \Leftrightarrow z^TXz \geq 0,\forall z$
$S^n_++ = \{ X\in S^n|X\succeq 0\}$ ：所有正定矩阵的集合

线性规划 $min\{ c^Tx|Ax=b,x\geq 0\}$ 的最优解组成的集合为S，S是凸集合么？

$\\\forall x_1,x_2 \in S\\ c^Tx_1=c^Tx_2=v^*\\ \forall \lambda \in[0,1], \lambda x_1+(1-\lambda) x_2\\ c^T(\lambda x_1+(1-\lambda) x_2)\\ =\lambda c^Tx_1+(1-\lambda) c^Tx_2\\ =v^*$

能够保持凸性的运算

设 $C_1,C_2\subset R^n$ 是凸集， $a\in R$ 则

（1） $C_1 \cap C_2 = \{ x|x\in C_1, x\in C_2 \}$ 是凸集

（2） $C_1 \pm C_2 = \{ x\pm y|x\in C_1, y\in C_2 \}$ 是凸集

问题： $S = \{x\in R^n | |p(t)|\leq1,|t|\leq \pi/3 \}$ ，其中

$p(t)= \sum^n_{i=1}x_i cosit$ 是否为凸集？

$-1\leq x_1cost +x_2cos2t+\cdots + x_n cosnt\leq 1$ 取交集

放射变换

假设f： $R^n \rightarrow R^m$ 是仿射函数，即 $f(x)=Ax+b,A\in R^{m\times n},b \in R^m$

C为凸集 $\Rightarrow f(C)=\{ f(x)| x \in C\}$ 是凸集
C为凸集 $\Rightarrow f^{-1}(C)=\{ x| f(x) \in C\}$ 是凸集

特殊仿射变换

放缩scaling:： $\alpha C=\{\alpha x| x\in C\}$
平移translation： $x_0+C =\{x_0+x|x\in C\}$
投影projection： $\{x^1| \binom{x^1}{x^2} \in C\}$

凸集基本性质：投影定理

设 $C\subset R^n$ 是一个非空闭凸集， $y\in R^n$ 但 $y \notin C$ ，则：

（1）存在唯一的一点 $\bar{x}\in C$ ，使得 $\bar {x}$ 是y到C的距离最小的点，即有

$\| \bar{x}-y\| = inf\{ \|x-y\| |x\in C \} >0$

（2） $\bar {x}$ 是y到C的最小距离点的充要条件是：

$(x-\bar{x})^T (x-\bar{x})\geq 0,\forall x\in C$

投影定理的证明：

不妨设， $\bar{x},x'$ 都是投影点，则： $\|y-\bar{x}\| = \|y-x'\|$

存在 $\tilde{x}$ ,在 $\bar{x},x'$ 两点之间，并作为连接三角形的中垂线，而小于其他两条边，从而小于投影点距离，矛盾！

因此投影点是唯一的

点与凸集的分离

设 $C_1,C_2$ 是两个非空凸集，若非零 $\alpha \in R^n$ 和b使得

$\alpha^Tx \geq b, \forall x\in C_1,\alpha^Tz \geq b, \forall z \in C_2$

则称超平面 $H=\{ x| \alpha^T x=b\}$ 分离集合 $C_1,C_2$

支撑超平面定理

设 $C\in R^n$ 是非空凸集， $\bar{x}\in \partial C$ 则存在非零向量 $\alpha \in R^n$ 使得

$\alpha ^T x \leq \alpha^T \bar{x}, \forall x\in clC$

此时，也称超平面 $H=\{ x\in R^n| \alpha^Tx = \alpha^T \bar{x} \}$ 是集合C在 $\bar{x}$ 处的支撑超平面

证明：

$\partial C$ ：集合C的边界点， intC：集合C包含的所有内点， clC：c的内点和边界点（集合C的闭包）

已知 $\bar{x}\in \partial C$ ，要证 $\exists \alpha \neq 0$ ，使得 $\alpha ^T x \leq \alpha^T \bar{x}, \forall x\in clC$

证：

由于 $\bar{x}\in \partial C$ ，则 $x_k \rightarrow \bar{x}$ （点列，收敛到 $\bar{x}$ ），且 $x_k \notin clc$ ,

$\because x_k \notin clc,\\$

则存在 $\alpha_k(\neq 0)$ （边界点法向量），使得：

$\alpha_k^Tx \leq \alpha_k^T x_k,\forall x \in clc$ （*）

不妨设， $\|\alpha_k\|=1$ ，则{ $\alpha_k$ }

（*）中令 $k \rightarrow \infty$ ,得 $\alpha^T x\leq \alpha^T \bar{x},\forall x\in clc$

skycrygg

关注

5
点赞
踩
30

收藏

觉得还不错? 一键收藏
3
评论
最优化理论与方法-第二讲-凸集

原文视频：https://www.bilibili.com/video/BV1rE411H7P6凸集举例：（1）（2）其中为最优点，此时对于凸集S来说，的负梯度方向与到S内的所有点的方向所呈夹角必定大于90度即：基本定义凸集（convex set ）：对于任意的x,yC与任意的有凸组合（convex combination）：其中，，...
复制链接

扫一扫