Convex Optimization Note 3

Convex Optimization Note 3

1. Generalized Inequality

1) proper cone: a. convex b. closed c. solid d. pointed

2) 满足相关性质，与$\le <$ 相同

3) Minimal 与 Minimum
在generalized inequality下，有些点是不能比较大小的。
$x\preceq_Ky$ 对所有$y \in S$成立，则$x$ 是minimum，可以看做$S\subseteq (x+K)$
$\{z|z\preceq_Kx\}\bigcap S=\{x\}$ 则$x$ 是minimal，也可以看做$(x-K)\cap S=\{x\}$

2. Dual Cone

1) $K^*=\{y|x^Ty\ge0\ \forall x\in K\}$

2) examples:
subspace的dual cone是它的正交空间
$\{x\succeq0\}$ 的dual cone是它本身
$S^n_+$ 的dual cone也是它本身
$\{|x|<t\}$ （norm cone）的dual cone是$\{|u|_*<v\}$ 其dual norm

3）性质
a. convex and closed
b. $K_1\subseteq K_2\implies K^*_2 \subseteq K^*_1$
c. $K$ non-empty interior $\implies$ $K^*$ pointed
closure $K$ pointed $\implies$ $K^*$ non-empty interior
d. $K^{**}$ is closure convex hull of $K$

3. Dual cone and generalized inequality

1) dual cone of proper cone is a proper cone（由上面性质可知）

2) $x\preceq_Ky\iff\ \forall\lambda\succeq_{K^*}0\ \lambda^Tx\le\lambda^Ty$
$x\prec_Ky \iff \forall\lambda\succeq_{K^*}0\ and\ \lambda\ne0, \ \lambda^Tx<\lambda^Ty$
将generalized inequality与普通inequality联系在一起

3) $Ax\prec_Kb$ 无解的等价条件是：
$\exists\lambda,\lambda\ne0,\lambda\succeq_{K^*}0,A^T\lambda=0,\lambda^Tb\le0$
可以由separating plane推导出来。

4) minimum
x是所有$\lambda\succ_{K^*}0$ 的$\lambda^Tx$ 在集合$S$ 中的唯一的minimizer$\iff$ $x$是$S$ 的minimum
也就是在x处所有的$\lambda$ 都是过该点$S$的supporting plane，且只过x这一点

5) minimal
$\exists\lambda\succ_{K^*}0,x\ minimize\ \lambda^Tx,\ \forall\ x\ \in S \implies x$ is minimal of $S$
$S\ is\ convex, x\ is\ minimal\implies\exists\lambda\succeq_{K^*}0,x\ minimize\ \lambda^Tx$
converse中的convex条件不可缺少，并且两个式子均不能把等号去掉或者加上（圆、正方体）。