【笔记】凸优化1

github博客文章链接
b站凌青老师凸优化课程1-6课笔记。

什么是优化

优化就是从一个可行解的集合中，寻找出最优的元素。写成数学形式：
$$\begin{array}{rl}& \text{minimize }{f}_0(x)\\ & \text{subject to }{f}_i(x)\le b_{i}i=1,\cdots ,M\end{array}$$
其中 $x=[x_1,\cdots ,x_n{]}^T$ 称为优化变量，$f_0:{\mathbb{R}}^n\to \mathbb{R}$ 称为目标函数，$f_i:{\mathbb{R}}^n\to \mathbb{R}$ 称为不等式约束。

优化问题的分类

优化问题一般有如下分类，其中前者通常较简单，后者通常较难。

线性规划 / 非线性规划

称 $f$ 为线性函数如果 $f(\alpha x+\beta y)=\alpha f(x)+\beta f(y)$。

若限制函数和目标函数均为线性函数，则称该问题为线性规划，否则称其为非线性规划。

凸规划 / 非凸规划

称 $f$ 是凸函数如果 $f(\alpha x+\beta y)\le \alpha f(x)+\beta f(y)$。

若限制函数和目标函数均为凸函数，则称该问题为凸规划，否则称其为非凸规划。

---

通常还有光滑 / 非光滑，连续 / 离散，单目标 / 多目标等分类。

凸集

直线和线段

对于 $x_1\ne x_2\in {\mathbb{R}}^n$，定义过 $x_1,x_2$ 的直线为
{ θ x 1 + ( 1 − θ ) x 2 ∣ θ ∈ R } \{\theta x_1+(1-\theta)x_2|\theta\in \R\} { θx1​+(1−θ)x2​∣θ∈R}
定义 $x_1,x_2$ 构成的线段为
{ θ x 1 + ( 1 − θ ) x 2 ∣ θ ∈ [ 0 , 1 ] } \{\theta x_1+(1-\theta)x_2|\theta\in [0,1]\} { θx1​+(1−θ)x2​∣θ∈[0,1]}

仿射集

定义

定义1 称集合 $C$ 是仿射集，若 $\forall x_1,x_2\in C$，连接 $x_1$ 与 $x_2$ 的直线都在 $C$ 内。

仿射组合 设 $x_1,\cdots ,x_k$，称 ${\theta }_1{x}_1+\cdots +{\theta }_k{x}_k$ 为其仿射组合，其中 ${\theta }_1,\cdots ,{\theta }_k\in \mathbb{R}$，且 ${\theta }_1+\cdots +{\theta }_k=1$。

定义2 称集合 $C$ 是仿射集，若 $\forall x_1,\cdots ,x_k\in c$，它们的所有仿射组合都在 $C$ 内。

定理

上述两个定义等价。

证明 由定义2显然可以推出定义1。往证由定义1可推出定义2。

假设有仿射集 $C$，先证任意三个元素的仿射组合都在 $C$ 中。取 $x_1,x_2,x_3\in c$，${\theta }_1,{\theta }_2,{\theta }_3\in \mathbb{R}$ 且 ${\theta }_1+{\theta }_2+{\theta }_3=1$，根据定义1可知
$$\frac{{\theta }_1}{{\theta }_1+{\theta }_2}{x}_1+\frac{{\theta }_2}{{\theta }_1+{\theta }_2}{x}_2\in C$$
那么有
$$({\theta }_1+{\theta }_2)\left(\frac{{\theta }_1}{{\theta }_1+{\theta }_2}{x}_1+\frac{{\theta }_2}{{\theta }_1+{\theta }_2}{x}_2\right)+(1-{\theta }_1-{\theta }_2)x^{}$$