凸优化基础简述

欧式空间

度量

Euclid空间，就是在线性空间上定义一个度量，即内积与范数。
内积：
对于 $n$ 维欧式空间，向量 $x$ 和 $y$ 的内积定义为：

$$\langle x,y\rangle=\sum_{i=1}^{n}x_{i}y_{i}=x^{T}y$$ 内积具有如下性质：

1. $\langle x,x\rangle\geq 0$, 且 $\langle x,x \rangle = 0 \iff x=0$ ;
2. $\langle x,y\rangle = \langle y,x\rangle$ ；
3. $\langle \lambda x+\mu y, z\rangle = \lambda\langle x,z\rangle + \mu\langle y,z\rangle$ 。

范数：
$n$ 维欧式空间上的范数定义为：

$$\| x\| = \left(\sum_{i=1}^{n}x_{i}^{2}\right)^{\frac{1}{2}}=(\langle x,x \rangle)^{\frac{1}{2}}$$
范数具有如下性质：

1. $\|x\|\geq 0$ 且 $\|x\|=0\iff x=0$ ；
2. $\|\lambda x\|=|\lambda|\|x\|$ ；
3. 三角不等式：$\|x+y\|\leq \|x\| + \|y\|$ ， 以及Cauchy-Schwarz不等式：$|\langle x,y \rangle|\leq \|x\| \|y\|$ ，且等号成立的充要条件是 $x$，$y$ 共线（$x=\lambda y$）。

一般来说，满足以上性质的表达式均可被称为内积或范数，此处我们仅运用以上两种情况。

方向

正交方向：
若 $\mathbb{R}^{n}$ 中 $k(k\leq n)$ 个向量 $q^{1}, q^{2},\dots,q^{k}$ 两两正交，即

$$\langle q^{i}, q^{j}\rangle=0,\quad i\neq j,\quad 1\leq i, j\leq k$$ 则称它们为 $k$ 个正交方向；若又满足：
$$q^{i}\neq 0,\quad i=1,2,\dots,k$$ 则称为 $k$ 个非零正交方向。

共轭方向：
设 $G$ 是 $n\times n$正定矩阵。若 $d^{1}, d^{2}$ 满足

$$(d^{1})^{T}Gd^{2}=0$$ 则称 $d^{1}, d^{2}$ 关于 $G$ 共轭。若 $d^{1}, d^{2}, \dots, d^{k} (k\leq n)$ 两两关于