（最优化理论与方法）第一章最优化简介-第一节：最优化问题概括

一：最优化问题的一般形式

最优化问题的一般形式：可以描述为如下，理解为在$x\in \chi$的约束下，最小化（当然最大化就是$max$）问题$f(x)$

$$minf(x),s.t.x\in \chi ①$$

注意：

• $x$=$(x_1,x_2,...,x_n{)}^T\in {\mathbb{R}}^n$是决策变量

• $f$：${\mathbb{R}}^n\to \mathbb{R}$是目标函数

• $\chi \subseteq {\mathbb{R}}_{}^n$是可行域；可行域包含的点称之为可行解；当$\chi ={\mathbb{R}}^n$时，此时称为无约束优化问题

• 集合$\chi$通常可以由约束函数$c_i(x)$：${\mathbb{R}}^n\to \mathbb{R}$, $i=1,2,...,m+l$表达为如下形式
  

• 在所有满足约束条件的决策变量中，使目标函数取最小值的变量$x^{\ast }$称为优化问题①的最优解，即对任意$x\in \chi$都有$f(x)\ge f(x^{\ast })$

• 如果在集合$\chi$上，函数$f$的最小或最大值不存在，则可以关心其下界或上界，也即$inff$或$supf$

因此，总的来说，最优化问题主要涉及以下三个要素

• 决策变量$x$=$(x_1,x_2,...,x_n{)}^T\in {\mathbb{R}}^n$：表示我们在最优化问题中要求解的变量
• 目标函数$f$（${\mathbb{R}}^n\to \mathbb{R}$）：表示我们需要最大化或最小化的表达式
• 约束函数$c_i$（${\mathbb{R}}^n\to \mathbb{R}$）：表示我们需要满足的等式或不等式条件

比如下面的最优化问题

• 决策变量$x\in \mathbb{R}$
• 目标函数$f(x)=\frac{1}{2}(x-1{)}^2+1$
• 约束条件

$$\underset{x\in R}{\min }\frac{1}{2}(x-1{)}^2+1$$

这个问题，只需画出该函数图像便可解决

二：一个简单例子

• 原文链接

如下是一个男女双方相互匹配相亲的例子，双方两两匹配，故可以形成一个匹配矩阵，其中每个元素为$c_{ij}$，表示男生$i$和女生$j$的匹配度

为了使相亲结果更好就要使总的匹配度高，所以这时一个可以用最优化来解决的问题

首先定义决策变量$x_{ij}$，取值及相应含义如下

$x_{ij}$	含义
1	男生$i$和女生$j$匹配
0	男生$i$和女生$j$不匹配

假设有$N$位男生和$N$位女生，那么该优化问题可以描述为

$$max\sum _{i=1}^N\sum _{j=1}^N{c}_{ij}{x}_{ij}$$

$s.t.$

• $\sum _{i=1}^N{x}_{ij}=1,\forall j=1,2,...,N$：限制一个男生匹配一个女生
• $\sum _{j=1}^N{x}_{ij}=1,\forall i=1,2,...,N$：限制一个女生匹配一个男生

三：最优化问题分类

• 部分参考

（1）有约束和无约束

无约束：无约束优化问题的决策变量没有约束条件限制，也即可行集合$\chi ={\mathbb{R}}^n$

例如

$$\underset{x\in R}{\min }\frac{1}{2}(x-1{)}^2+1$$

有约束：是指带有约束条件的问题

• 从某种程度上来讲，约束优化问题就是无约束优化问题，因为可以将约束罚到目标函数上转为无约束问题

例如

$$\underset{x\in R}{\min }\frac{1}{2}(x-1{)}^2+1$$

$s.t.$

$$x\ge 2$$

（2）连续优化和离散优化

连续优化：连续优化问题是指决策变量所在的可行集合是连续的，例如平面、区间等

• 在连续优化问题中，基于决策变量取值空间以及约束和目标函数的连续性，我们可以从一个点处目标和约束函数的取值来估计该点可行邻域内的取值情况，进一步可以根据邻域内的取值信息来判断该点是否最优。但是离散优化问题做不到

例如

$$\underset{x\in R}{\min }(x-1.4{)}^2+1$$

离散优化：离散优化问题是指决策变量能在离散集合上取值，例如离散点集、整数集等

• 离散优化问题一般较连续优化问题更难求解，所以实际中离散优化问题往往可以转为一系列连续优化问题来进行求解

例如

$$\underset{x\in Z}{\min }(x-1.4{)}^2+1$$

（3）随机性优化和确定性优化

随机性优化：目标函数或者约束函数中涉及随机变量而带有不确定性的问题

• 随机优化问题在机器学习、深度学习以及强化学习中有着重要应用，其优化问题的目标函数是关于一个未知参数的期望的形式．因为参数的未知性，实际中常用的方法是通过足够多的样本来逼近目标函数，得到一个新的有限和形式的目标函数

确定性优化：目标函数或者约束函数中不涉及随机变量而是确定的问题

（4）线性规划和非线性规划

线性规划：当目标函数和约束函数均为线性函数时，问题称为线性规划。目前来说线性规划可以比较容易的可以被求解的。其主要的求解方法分别为单纯形法和内点法

非线性规划：当目标函数和约束函数中至少有一个为非线性函数时，相应的问题称为非线性规划

（5）凸优化和非凸优化

凸优化：目标函数和约束函数都是凸函数的极小化问题。凸优化问题的任何局部最优解都是全局最优解，其相应的算法设计以及理论分析相对非凸优化问题简单很多

非凸优化：如果其中有一个或者两者都不是凸的，那么相应的最小化问题是非凸优化问题

（6）其他

• 如果目标函数是二次函数而约束函数是线性函数则称为二次规划
• 包含非光滑函数的问题称为非光滑优化
• 不能直接求导数的问题称为无导数优化
• 变量只能取整数的问题称为整数规划
• 在线性约束下极小化关于半正定矩阵的线性函数的问题称为半定规划，其广义形式为锥规划
• 最优解只有少量非零元素的问题称为稀疏优化
• 最优解是低秩矩阵的问题称为低秩矩阵优化
• 此外还有几何优化、二次锥规划、张量优化、鲁棒优化、全局优化、组合优化、网络规划、随机优化、动态规划、带微分方程约束优化、微分流形约束优化、分布式优化等