Quasi-Newton拟牛顿法（共轭方向法）

最新推荐文章于 2020-12-15 13:22:30 发布

hhhliuye

最新推荐文章于 2020-12-15 13:22:30 发布

阅读量3.7k

点赞数 2

分类专栏： Optimization 文章标签：优化牛顿法 Quasi 共轭方向法 BFGS

本文链接：https://blog.csdn.net/weixin_44492024/article/details/102455345

版权

1. Introduction

拟牛顿法可以理解为使用迭代的方法近似Hessian矩阵，但是拟牛顿法本质上其实是共轭方向法，所以用共轭方向法来理解拟牛顿法更加贴切。

本文的主要内容来自于《最优化导论》（《An introduction to optimization》）

牛顿法在很多地方都有详细的说明，就不在这里赘述了。

一般的非线性函数，牛顿法不能保证从任意起始点都可以收敛到极小值点。结果可能会随着迭代在极小值附件震荡，甚至越走越远。这就要求我们设置合理的步长。

另外牛顿法中Hessian矩阵计算十分复杂，于是就引入了拟牛顿法，可以设计近似矩阵来代替复杂的Hessian矩阵。

共轭方向法的求解的主要是n维的二次型函数：
Alt
通过找到关于Q的一系列共轭方向d，然后分别从每个共轭方向上优化，最终可以在n步之内得到结果。
在这里插入图片描述
同时为了更方便的找到共轭方向，引入使用迭代求出共轭方向的方法，如下的共轭梯度法：

为了说明清楚，我们需要：

共轭方向的定义如下，Q是上面所述的二次型函数中的表达。
在这里插入图片描述
关于共轭方向还有一个重要引理：

在这里插入图片描述

这个可以通过数学归纳法证明，证明可以参见原书。我们只需要知道共轭梯度法得到的d确实是Q的共轭方向。
在这里插入图片描述

Matlab compare example

%block preconditioning solution
clear all;
ex_blockprecond;

A_full = full(A);
fprintf('\nStarting dense direct solve ...\n'

关注