【凸优化学习笔记1】什么是优化、优化的数学表达形式、优化问题的分类

参考资料：
1.凌青老师的凸优化课（b站）
2.Stephen Boyd的《凸优化》中译本（清华大学出版社）

什么是优化(Optimization)

优化（optimization）又叫数学规划（Mathematical Programming）。
优化：从一个可行解的集合中，寻找出最优的元素。
三要素缺一不可：可行解的集合、寻找的方法、有最优的元素。

优化问题的数学表达形式

$$\begin{array}{ll}\mathrm{minimize}& f_0(x)\\ \text{subject to}& f_i(x)⩽b_i,i=1,\cdots ,m\end{array}$$

---

其中：
$x$ 称为优化变量（Optimization Variable），是一个向量 $x=\left(x_1,\cdots ,x_n\right)$
$f_0(x)$ 称为目标函数（Objective Function），它是一个n维空间到1维空间的映射，即 $f_0:{\mathbf{R}}^n\to \mathbf{R}$。
$f_i(x)$ 是一组不等式约束（Inequality Constraint），$f_i:{\mathbf{R}}^n\to \mathbf{R}$

我们的目标是找到一个 $x^{\star }$，是一个最优解（Optimal）。
如果$x^{\star }$是一个Optimal，那么它等价于：
存在任意向量 $z$，满足所有的约束条件 z ∈ { f 1 ( z ) ⩽ b 1 , ⋯   , f m ( z ) ⩽ b m } z\in\{ f_{1}(z) \leqslant b_{1}, \cdots, f_{m}(z) \leqslant b_{m}\} z∈{f1​(z)⩽b1​,⋯,fm​(z)⩽bm​}的情况下，有：$f_0(z)⩾f_0\left(x^{\star }\right)$

上面 { f 1 ( z ) ⩽ b 1 , ⋯   , f m ( z ) ⩽ b m } \{ f_{1}(z) \leqslant b_{1}, \cdots, f_{m}(z) \leqslant b_{m}\} {f1​(z)⩽b1​,⋯,fm​(z)⩽bm​}集合称为可行解集（feasible set）。
最优解同样可能存在最优解集，即不止有一个最优解。

举例1

以一元函数举例，图：

求[-1,1]区间内函数最小值。

转化为优化问题：
目标函数：$f_0(x)=x^2+1$
可行解集：$x⩽1,-x⩽1$
求最优解（解得 $x=0$）

举例2（数据拟合问题）

有一组样本点（二维坐标系为例），需要拟合出一条线。

我们设这条线为一个二项式 $y=a{x}^2+bx+c$，各项的系数a、b、c为待估参数，设为向量$w=(a,b,c)$。

目标函数：$f_0(w)={\sum }_{\mathrm{i}=1}^{\mathrm{n}}[y_i-(a{x}_i^2+b{x}_i+c){]}^2$，$i$为各样本点。
求最优解，这是一个典型的最小二乘问题。

优化问题的分类

线性规划、非线性规划

若优化问题中，目标函数和约束函数 $f_0,...,f_m$ 都是线性函数，即对任意的 $x,y\in {\mathbf{R}}^n$ 和 $\alpha ,\beta \in \mathbf{R}$，都有：
$$f_i(\alpha x+\beta y)=\alpha f_i(x)+\beta f_i(y)，i=0,1,...,m$$
那么这样的优化问题称为线性规划。
如果 $f_0,...,f_m$ 中有一个不是线性函数，那么该问题称为非线性规划。

---

给个线性规划的图例：

图中的五边形是由5个线性函数$f_1,...,f_5$构成的可行解集，因为约束函数都是线性函数，所以可行解集一定长成这样的五边形形状。
同时，目标函数$f_0$也是一个线性函数，我们把目标函数放在空间中，它就会以不同的等高线呈现来表示它的值。
如果箭头方向为$f_0$下降的方向，那么它的最优解就在标出的黑点上。

凸规划、非凸规划

曾经人们把线性规划和非线性规划问题定义成简单问题和困难问题，后面发现把凸规划定义成简单问题，非凸规划定义成困难问题更好。
任意的线性规划问题一定是凸规划。凸规划可看成线性规划的扩展。

如果目标函数和约束函数都是凸函数，即对任意的 $x,y\in {\mathbf{R}}^n$ 和 $\alpha ,\beta \in \mathbf{R}$，且满足 $\alpha +\beta =1,\alpha ⩾0,\beta ⩾0$，下列不等式成立：
$$f_i(\alpha x+\beta y)⩽\alpha f_i(x)+\beta f_i(y)，i=0,1,...,m$$
这样的函数即为凸函数。
目标函数和约束函数都是凸函数的问题就是凸规划问题，也叫凸优化问题。

以上可见凸性是较线性更为一般的性质。因为它只需要满足不等式就行了。仅仅加上了一个α和β的取值限制。

其他分类

①光滑优化问题、非光滑优化问题

光滑和非光滑针对目标函数$f_0$而言。
光滑函数意味目标函数$f_0$在定义域上所有点都可微。

②连续优化问题、非连续优化问题

正对可行域而言。
如果可行域是连续的，为连续优化问题（如上面的五边形图）。
可行域是离散的，即为非连续优化问题。离散问题一般都是困难问题。

③单目标问题、多目标问题

对于多目标问题，比如我们想要优化两个目标函数：
$$\mathrm{minimize}{f}_1(x),f_2(x)$$
这就是多目标问题。

对于$f_1,f_2$，我们常可画出两个函数值的曲线：

这条线又称帕累托曲面（Pareto front），我们难以找到一个点让两者最优，一般需要找个折中点。
所以我们一般需要将两者取加权，将多目标转化成单目标问题：
$$\mathrm{minimize}{\alpha }_1{f}_1(x)+{\alpha }_2{f}_2(x)$$
这只是一种解决方法，可能不一定有效。