高立数值最优化方法_最优化理论之无约束优化基本结构及其python应用

weixin_39849287

于 2021-01-27 19:05:27 发布

阅读量374

点赞数

文章标签：高立数值最优化方法

本文链接：https://blog.csdn.net/weixin_39849287/article/details/113331357

版权

本文介绍了无约束优化的基本结构，包括最优性条件、线搜索算法和信赖域方法，并探讨了Python中精确线搜索的实现。内容涵盖梯度、海森矩阵、全局和局部最优解的定义，以及Armijo、Goldstein准则等非精确线搜索准则。

摘要由CSDN通过智能技术生成

自古以来，凡是追求尽善尽美是人类的天性，因而产生了科学，工程，数学，经济和商业等领域的实际问题时，人们欲从众多可行的方案中选择最优或近似最优的解决方案，那么最优化方法就是专门解决这类问题的一个强有力工具。最优化方法包括无约束优化与约束优化，今天我们先来讨论无约束优化理论的基本结构。

本文内容：

符号约定
最优性条件：最优解的类型，最优性条件
无约束优化算法的基本结构
python实现精确线搜索

1. 符号约定

梯度向量（列向量）

$equation?tex=g%28x%29+%3D+%5Cnabla+f%28x%29+%3D+%5B%5Cfrac%7B%5Cpartial+f%28x%29%7D%7B%5Cpartial+x_1%7D%2C%5Cfrac%7B%5Cpartial+f%28x%29%7D%7B%5Cpartial+x_2%7D%2C%5Cfrac%7B%5Cpartial+f%28x%29%7D%7B%5Cpartial+x_3%7D%2C...%2C%5Cfrac%7B%5Cpartial+f%28x%29%7D%7B%5Cpartial+x_n%7D%5D%5ET$

海森矩阵

$equation?tex=G%28x%29+%3D+%5Cnabla%5E2f%28x%29+%3D+%5Cbegin%7Bbmatrix%7D+%5Cfrac%7B%5Cpartial%5E2+f%28x%29%7D%7B%5Cpartial+x_1%5E2%7D+%26++%5Cfrac%7B%5Cpartial%5E2+f%28x%29%7D%7B%5Cpartial+x_1%5Cpartial+x_2%7D+++%26+%5Ccdots+%26+%5Cfrac%7B%5Cpartial%5E2+f%28x%29%7D%7B%5Cpartial+x_1%5Cpartial+x_n%7D+++++%5C%5C+%5Cfrac%7B%5Cpartial%5E2+f%28x%29%7D%7B%5Cpartial+x_2%5Cpartial+x_1%7D+%26++%5Cfrac%7B%5Cpartial%5E2+f%28x%29%7D%7B%5Cpartial+x_2%5E2%7D+++%26+%5Ccdots+%26+%5Cfrac%7B%5Cpartial%5E2+f%28x%29%7D%7B%5Cpartial+x_2%5Cpartial+x_n%7D+++++%5C%5C+%5Cvdots+%26+%5Cvdots+%26+%5Ccdots%26+%5Cvdots+%5C%5C+%5Cfrac%7B%5Cpartial%5E2+f%28x%29%7D%7B%5Cpartial+x_n%5Cpartial+x_1%7D+%26++%5Cfrac%7B%5Cpartial%5E2+f%28x%29%7D%7B%5Cpartial+x_n+%5Cpartial+x_2%7D+++%26+%5Ccdots+%26+%5Cfrac%7B%5Cpartial%5E2+f%28x%29%7D%7B%5Cpartial+x_n%5E2%7D++++++%5Cend%7Bbmatrix%7D$

2. 最优性条件

（1）最优解的类型

全局最优解
若对任意
则称

为最优化问题

的全局最优解。
局部最优解
对
，若存在

，使得对任意的

，当

时，有

。

（2）最优性条件

一阶必要条件：
设
为

最低0.47元/天解锁文章

weixin_39849287

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
高立数值最优化方法_最优化理论之无约束优化基本结构及其python应用

自古以来，凡是追求尽善尽美是人类的天性，因而产生了科学，工程，数学，经济和商业等领域的实际问题时，人们欲从众多可行的方案中选择最优或近似最优的解决方案，那么最优化方法就是专门解决这类问题的一个强有力工具。最优化方法包括无约束优化与约束优化，今天我们先来讨论无约束优化理论的基本结构。本文内容：符号约定最优性条件：最优解的类型，最优性条件无约束优化算法的基本结构python实现精确线搜索1. 符号约定...
复制链接

扫一扫