python矩阵最优化_最优化理论之无约束优化基本结构及其python应用

自古以来，凡是追求尽善尽美是人类的天性，因而产生了科学，工程，数学，经济和商业等领域的实际问题时，人们欲从众多可行的方案中选择最优或近似最优的解决方案，那么最优化方法就是专门解决这类问题的一个强有力工具。最优化方法包括无约束优化与约束优化，今天我们先来讨论无约束优化理论的基本结构。

本文内容：符号约定

最优性条件：最优解的类型，最优性条件

无约束优化算法的基本结构

python实现精确线搜索

1. 符号约定

梯度向量(列向量)

海森矩阵

2. 最优性条件

(1)最优解的类型全局最优解

若对任意

则称

为最优化问题

的全局最优解。

局部最优解

对

，若存在

，使得对任意的

，当

时，有

。

(2)最优性条件一阶必要条件：

设

为

的一个局部极小值点，则

。二阶必要条件：

设

，

为