最优化理论总结&算法索引

最新推荐文章于 2024-01-23 14:18:40 发布

charlin的巡礼之年

最新推荐文章于 2024-01-23 14:18:40 发布

阅读量2k

点赞数

分类专栏：数理基础文章标签：算法最优化理论线性规划 KKT条件

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/Lancelot00/article/details/87003612

版权

本文概述了最优化理论的基础，包括线性规划的对偶理论和非线性规划的最优性条件，以及相关算法如单纯形法、对偶单纯形法、模式搜索法等。还介绍了KKT条件在解决约束条件下的优化问题中的应用。

摘要由CSDN通过智能技术生成

由于最优化理论是许多算法的基础，因此本文在这里简单梳理了一下最优化相关的重要知识点以及算法分类，以供需要时查询使用。

一、最优化理论基础

1.线性规划中的对偶理论：

典型线性规划问题

min $cx$

s.t. $Ax\geqslant b,x\geqslant 0.$

及其对偶问题

max $wb$

s.t. $wA\leqslant c,w\geqslant 0.$

或

max $bw$

s.t. $A^{T}w\leqslant c,w\geqslant 0.$

满足：i)若原问题与其对偶问题中有一个问题存在最优解,则另一个问题也存在最优解,且两个问题的目标函数的最优值相等（并且两个问题的目标值会以相反的方向逐渐逼近直至相等）。

ii) [互补松弛性质] 设 $x^{(0)}$ 和 $w^{(0)}$ 分别是原问题和对偶问题的可行解，那么 $x^{(0)}$ 和 $w^{(0)}$ 都是最优解的充要条件是，对所有i和j，下列关系成立：

如果 $x_{j}^{(0)}> 0$ ，就有 $w^{(0)}p_{j}=c_{j}$ ；

如果 $w^{(0)}p_{j}< c_{j}$ ，就有 $x_{j}^{(0)}= 0$ ；

如果 $w_{j}^{(0)}> 0$ ，就有 $A_{i}x^{(0)}=b_{i}$ ；

如果 $A_{i}x^{(0)}> b_{i}$ ，就有 $w_{j}^{(0)}= 0$ ；

上述两个定理是线性规划对偶方法的基础，在对偶单纯形、路径跟踪法等算法中常用 i) ，通过交替求解原问题和对偶问题来从一个基础可行 or 对偶可行解出发逐步趋近最优解；而 ii) 则是原问题与对偶问题之间的相当有用的性质，以此作为引申，可以得到在有约束条件下的KKT条件，并以此求解一些非线性且带约束条件的问题，如Lagrange法等。

2.非线性规划中的最优性条件

(1)无约束问题 min f(x)

一阶条件：①设函数 f(x) 在点 $\bar{x}$ 可微，若 $\bar{x}$ 是局部极小点，则梯度∇ $f(\bar{x})=0$ .

②设函数 f(x) 在点

最低0.47元/天解锁文章

charlin的巡礼之年

关注

0
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
最优化理论总结&算法索引

由于最优化理论是许多算法的基础，因此本文在这里简单梳理了一下最优化相关的重要知识点以及算法分类，以供需要时查询使用。一、最优化理论基础1.线性规划中的对偶理论：典型线性规划问题及其对偶问题或满足：i)若原问题与其对偶问题中有一个问题存在最优解,则另一个问题...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。