数值优化初步学习-韩德仁

最新推荐文章于 2023-11-09 08:00:00 发布

hi_1994

最新推荐文章于 2023-11-09 08:00:00 发布

阅读量338

点赞数

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/caobo_0512/article/details/103535929

版权

经典优化问题

决策变量的取值是连续的，成为连续最优化问题；
决策变量的取值是离散的，称为离散最优化问题，如整数规划、资源配置、生产安排等
一般情况下离散优化问题求解比连续优化问题求解更难

光滑与非光滑最优化问题

所有函数都连续可微，称为光滑最优化问题；
只要有一个函数非光滑，就是非光滑最优化问题

经典无约束优化问题

最小二乘问题的形式为：

$\underset{x\subset R^{n}}{min}f(x)=\frac{1}{2}\left \| r(x) \right \|^{2}=\frac{1}{2}\sum_{i=1}^{m}[r_{i}(x))]^{2},m\geqslant n$

其中， $r(x)=(r_{1}(x),r_{2}(x),\cdots r_{m}(x))^{T},r_{i}(x)$ 称为残量函数，特别地，r_{i}(x)为线性函数，问题变为线性最小二乘问题，通常表示为：
$min\frac{1}{2}\left \|Ax-b \right \|^{2}$

线性规划问题（LP）的一般数学模型为：

$\left\{\begin{matrix} min\: \; c^{T}x \\ s.t. \; c_{i}(x)=0,i=1,2,\cdots,m \\ c_{i}(x)\geqslant 0,i=m+l,m+2,\cdots,p \end{matrix}\right.$

线性规划就是目标函数是线性函数，约束函数也是线性函数的优化问题

二次规划问题（QP）的一般数学模型为：

$\left\{\begin{matrix} min\; q(x)=\frac{1}{2}x^{T}Gx+g^{T}x\\ s.t.\; a_{i}^{T}x=b_{i},i\subset \varepsilon \\ a_{i}^{T}x\geq b_{i},i\subset I \end{matrix}\right.$

其中G是对称矩阵， $\varepsilon$ 和I分别对应等式约束和不等式约束的有限指标集

应用于计算机辅助设计问题等

问题的计算

迭代下降
逼近
收敛性分析

经典有约束优化方法

单纯形法
二次罚函数法
内点法
序列二次规划SQP

经典无约束优化方法

最速下降法
共轭梯度法
拟牛顿方法
牛顿法

算法的评价

稳定性
有效性（计算时间少，占用存储空间少）
精确性

极值点概念

极大值点：使目标函数达到极大值的点
极小值点：使目标函数达到极小值的点
驻点：使目标函数梯度为0的点
鞍点：首先是驻点，并且从该点出发的一个方向是函数的极大值点，而在另一个方向是函数的极小值点

局部最优解和全局最优解

凸集和凸函数

凸集：

1.无约束优化问题

定理（二阶必要条件）

若 $x*$ 是无约束最优化问题的局部最优值点，且 $f$ 在 $x*$ 点附近二阶连续可微，则 $\triangledown f(x*)=0$ 且 $\triangledown ^{2}f(x*)$ 半正定

二阶充分条件

若 $x*$ 满足 $\triangledown f(x*)=0$ 且 $\triangledown ^{2}f(x*)$ 正定，则 $x*$ 是无约束优化问题的严格局部最优解

2.约束优化问题

既要考虑最优化问题，也要考虑约束问题

最优点：最优点处的可行方向均不是下降方向

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
数值优化初步学习-韩德仁

经典优化问题决策变量的取值是连续的，成为连续最优化问题；决策变量的取值是离散的，称为离散最优化问题，如整数规划、资源配置、生产安排等一般情况下离散优化问题求解比连续优化问题求解更难光滑与非光滑最优化问题所有函数都连续可微，称为光滑最优化问题；只要有一个函数非光滑，就是非光滑最优化问题经典无约束优化问题最小二乘问题的形式为：其中，称为残量函数，特别地，r_{i...
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。