1. 牛顿法
1.1 应用一:求方程的根
1.2 应用二:最优化
推广到多元的情况:
2、拟牛顿法
牛顿法中的Hesse矩阵H在稠密时求逆计算量大,也有可能没有逆(Hesse矩阵非正定)。拟牛顿法提出,用不含二阶导数的矩阵 Ut替代牛顿法中的,然后沿搜索方向 −Utgt做一维搜索。根据不同的 Ut构造方法有不同的拟牛顿法。
注意拟牛顿法的 关键词:
- 不用算二阶导数
- 不用求逆
2.1 拟牛顿条件
以上就是 拟牛顿条件,不同的拟牛顿法,区别就在于如何确定 U。
推广到多元的情况:
牛顿法中的Hesse矩阵H在稠密时求逆计算量大,也有可能没有逆(Hesse矩阵非正定)。拟牛顿法提出,用不含二阶导数的矩阵 Ut替代牛顿法中的,然后沿搜索方向 −Utgt做一维搜索。根据不同的 Ut构造方法有不同的拟牛顿法。
注意拟牛顿法的 关键词:
以上就是 拟牛顿条件,不同的拟牛顿法,区别就在于如何确定 U。