最优化 - 牛顿法/拟牛顿法

1. 牛顿法

1.1 应用一：求方程的根

1.2 应用二：最优化

 

推广到多元的情况：

 

2、拟牛顿法

牛顿法中的Hesse矩阵H在稠密时求逆计算量大，也有可能没有逆（Hesse矩阵非正定）。拟牛顿法提出，用不含二阶导数的矩阵 Ut替代牛顿法中的，然后沿搜索方向 −Utgt做一维搜索。根据不同的 Ut构造方法有不同的拟牛顿法。
注意拟牛顿法的 关键词：

• 不用算二阶导数
• 不用求逆

2.1 拟牛顿条件

以上就是 拟牛顿条件，不同的拟牛顿法，区别就在于如何确定 U。