最优化建模、算法与理论（二）—— 典型优化问题

最新推荐文章于 2023-10-01 11:32:27 发布

奶盖加芝士

最新推荐文章于 2023-10-01 11:32:27 发布

阅读量1.1k

点赞数 3

分类专栏：最优化建模、算法与理论文章标签：算法

本文链接：https://blog.csdn.net/qq_39916709/article/details/125460933

版权

最优化建模、算法与理论专栏收录该内容

4 篇文章 15 订阅

订阅专栏

参考书籍《最优化：建模、算法与理论》

文章目录

1 线性规划

一般形式

$\min_{x\in R^n} c^Tx，s.t. Ax = b，Gx \leq e$
$其中 c ∈ R^n , A ∈ R^{m × n} , b ∈ R^m , G ∈ R^{p × n} 和 e∈ R^p 是给定的矩阵和向量,x ∈ R^n 是决策变量$

标准形（等式约束和决策变量非负）

$\min_{x\in R^n} c^Tx，s.t. Ax = b，x \geq 0$

不等式形（没有等式约束）

$\min_{x\in R^n} c^Tx，s.t. Ax \leq b$

应用举例

1.运输成本问题
2.马尔科夫决策过程：是序贯决策（sequential decision）的数学模型，被用于机器学习中强化学习（reinforcement learning）问题的建模；马尔可夫性质是指，未来只与当前状态有关，与过去无关
3.基追踪问题：基追踪方法是信号稀疏表示领域的一种新方法，是压缩感知中的一个基本问题
4.数据拟合

2 最小二乘问题

一般形式

$\min_{x\in R^n}\sum^m_{i=1}r^2_i(x)$
$r_i : R^n \to R 为实值函数，所有的 r_i 都是线性函数$

应用举例

1.线性最小二乘问题：线性最小二乘问题是回归分析中的一个基本模型
2.数据插值：数据插值是数值分析的一个基本问题
3.深度 Q 学习：在强化学习中,为了求解出最优策略及相应的期望奖励,往往需要考虑动作价值函数(action-value function)Q: S × A → R(注意,我们一般称V 为价值函数,即 value function),其表示从状态 s 出发,采取动作 a 可以获得的最大期望奖励
4.带有微分方程约束优化问题：它在最优控制、形状优化等各种领域中有着广泛应用

3 复合优化问题

一般形式

$\min_{x\in R^n} \psi(x) = f(x) + h(x)$
$其中 f (x) 是光滑函数 (比如数据拟合项), h (x) 可能是非光滑的 (比如 l 1 范数正则项, 约束集合的示性函数, 或它们的线性组合)$

应用举例

1.图像去噪
2.盲反卷积：也称为去模糊，是图像处理中的一个基本问题

4 随机优化问题

一般形式

$\min_{x\in \chi} E_{\zeta} [ F(x，\zeta)] + h(x)$
$R^n 表示决策变量 x 的可行域,ξ 是一个随机变(分布一般是未知的)，数学期望E_{\zeta} [ F(x，\zeta)]一般是不可计算的，在实际问题中往往利用经验分布来代替真实分布$

应用举例

1.随机主成分分析
2.分布式鲁棒优化

5 半定规划

半定规划(semidefinite programming, SDP)是线性规划在矩阵空间中的一种推广，它的目标函数和等式约束均为关于矩阵的线性函数，而它与线性规划不同的地方是其自变量取值于半正定矩阵空间

一般形式

$min c^Tx，s.t. x_1A_1 + x_2A_2 + ... + x_nA_n + B ⪯ 0，Gx = h$

标准形式

$\min {\langle C，X \rangle}；s.t. \langle A_1，X \rangle = b_1，... \langle A_m，X \rangle = b_m；X ⪰ 0$

不等式形式

$\min {\langle C，X \rangle}；s.t. x_1 A_1 + x_2 A_2 + · · · + x_n A_n + B ⪯ 0$

应用举例

1.二次约束二次规划问题的半定规划松弛
2.最大割问题的半定规划松弛
3.极小化最大特征值

6 矩阵优化

一般形式

$\min_{X\in \chi} \psi(X)$
$\to R 为给定的函数,可能是非光滑的$

应用举例

1.非负矩阵分解
2.低秩相关系数矩阵估计
3.电子结构计算

7 整数优化

一般形式

$min c^Tx；s.t. Ax ⩽ b，x_i ⩾ 0, i = 1, 2, · · · , n；x i ∈ Z, i = 1, 2, · · · , n$
$其中 A ∈ R^{m × n} , c ∈ R^n , b ∈ R^m 是给定的矩阵和向量,Z 是整数集合。如果只要求部分 x i 是整数,该问题被称为混合整数规划问题$

应用举例

1.资本预算
2.仓库位置选取
3.旅行商问题

附录常用软件包、库或软件

SDPT3：可以求解锥规划问题,其中锥可以是半定矩阵锥、二次锥和非负象限中的一个或者多个的乘积
MOSEK：这个商业软件可以求解线性规划、二次锥规划、半定规划、二次规划等凸优化问题,以及混合整数线性规划和混合整数二次规划等.它的重点是求解大规模稀疏问题,尤其在求解线性规划、二次锥规划和半定规划的内点法设计上做得非常有效，它提供 C,C#, Java, Python,MATLAB 和 R 等接口
CPLEX: 这个商业软件可以求解整数规划问题,非常大规模的线性规划问题(使用单纯形方法或者内点法),凸和非凸二次规划问题,二次锥规划问题.它提供 C++, C#, Java, Microsoft Excel 和 MATLAB 接口
Gurobi: 这个商业软件可以求解线性规划(采用单纯形法和并行的内点法),二次规划(采用单纯形法和内点法),二次约束规划,混合整数线性规划,混合整数二次规划,混合整数二次约束规划.它提供 C,C++, Java, .NET, Python, MATLAB 和 R 等接口
IPOPT: 这个开源软件可以求解大规模非线性规划问题，提供 C, C++, FORTRAN, Java, MATLAB 和 R等接口
Knitro: 它是用来求解大规模非线性优化问题的商业软件，可以用来求解一般非凸非线性规划问题,非线性方程组,线性
规划,二次(线性)约束二次规划问题,线性(非线性)最小二乘问题,混合整数规划问题以及无导数优化问题,等等.Knitro 支持的编程语言有 C, FORTRAN, C++, C#, Java, MATLAB, R, Python 等,以及模型语言 AMPL,AIMMS,GAMS 和 MPL 等