吴立德《数值优化》（Numerical Optimization）视频学习笔记（二）

二．无约束优化的基础

1.解的概念

（严格）全局解，（严格）局部解。

2.解的条件

（1）多元函数泰勒公式和中值定理

（2）解的一阶必要条件为一阶梯度等于0

（3）解的二阶必要条件为一阶等于0，二阶半正定（大于等于0）

（4）解的二阶充分条件为一阶等于0，二阶正定（大于0）

（5）凸函数场合

3.算法

（1）迭代算法：从一个初始点出发，如何构造到下一个更好的点（使得f变小，但是nonmonotone algorithm不要求每一步的f的变小，在几步之后变小就行），什么时候终止，最后如何收敛到解。
（2）一阶、二阶、直接算法，取决于用到的阶数。
（3）算法的收敛性：全局收敛的算法（任意初始点），局部收敛（初始点有条件），不要与解的收敛性混淆。
（4）收敛速度：线性收敛、超线性收敛、二次收敛（由慢到快），二次收敛在解的附近收敛得非常快。
（5）方法概述：线性搜索方法、信赖域方法。

（6）线搜索方法：先选一个方向，然后选一个步长（方向可以随时调整）。选方向有最速下降方向、牛顿方向、拟牛顿方向和共轭梯度法。牛顿方向在二次函数时可以一步到位，由此猜测在一般情况下也比较好，但是这是一个二阶的方法，而且要求逆阵，计算量大。逆牛顿方向结合了一下，一般能达到超线性收敛。

最速下降方向：

牛顿方向：

拟牛顿方向：

共轭梯度法：

（7）信赖域方法：在当前解附近构造一个模型函数mk来近似f。其基本思想是把最优化问题转化为一系列简单的局部寻优问题。