基于牛顿法的优化(毕业论文)

标签: BFGS 共轭梯度法
13人阅读 评论(0) 收藏 举报
分类:

前面说了牛顿法的主要问题是对Hessian矩阵求逆,下面介绍的两种算法是两种不同的优化思路,分别是共轭梯度法和BFGS。

共轭梯度法

共轭梯度是一种通过迭代下降的共轭方向,来有效避免Hessian矩阵求逆运算的方法。它的思想就是寻求一个和之前线搜索方向共轭的方向,使得它不会撤销该方向上的进展。在迭代中,它的下一步搜索方向为:

dk=f(xk)+βkdk1
系数βk决定了我们应该沿dk1方向上前进多少步。如果dkTHdk1=0,则称dk,dk1为两个共轭方向。由迭代公式可见,我们去掉了求解Hessian矩阵逆的运算。而求解βk也已经有人研究出来如何求解了,公式如下:
βk=(f(xk)f(xk1))T(xk)f(xk1)Tf(xk1)
对于二次曲面而言,共轭方向确保梯度沿着前一方向大小不变。因此,在前一方向上仍然是最小值,使得在k维参数空间中,共轭梯度只需要至多k次线搜索就能达到最小值。

BFGS

BFGS是拟牛顿法中的最典型特例。针对牛顿法的问题,有人提出能否不计算Hessian矩阵,在迭代过程中,仅仅利用相邻两个迭代点以及梯度信息,产生一个对称正定矩阵,使之逐步逼近目标函数Hessian矩阵的逆阵,这也是拟牛顿法的思想。

对梯度f(x)xk+1处进行泰勒展开,取x=xk,当xk,xk+1充分接近时,可化简得:

2f(xk+1)(xk+1xk)f(xk+1)f(xk)
2f(xk+1)就是f(x)xk+1的Hessian矩阵,公式中只包含梯度和两个迭代点的计算,用该公式可以近似求解Hessian与其逆阵,计算则更为方便。

以上两种方法是两种不同的优化思路,共轭梯度法旨在寻找共轭方向迭代求解,BFGS旨在对Hessian矩阵近似求解,避免复杂的求逆运算,两者极大的减小的计算量,虽然两者还有其他问题需要优化,但篇幅有限,本文先介绍到这里,更多需要优化的细节请参考相关的书籍。

查看评论

基于牛顿法的优化(毕业论文)

共轭梯度法 BFGS 前面说了牛顿法的主要问题是对Hessian矩阵求逆,下面介绍的两种算法是两种不同的优化思路,分别是共轭梯度法和BFGS。 共轭梯度法 共轭梯度是一种通过迭...
  • qq_39422642
  • qq_39422642
  • 2018-04-15 10:51:04
  • 13

最优化理论与方法-牛顿迭代法

关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习,分享我在学习过程中的读书笔记!一起来学习,一起来交流,一起来进步吧!本文同步更新在我的微信公众号里,地址:https://...
  • program_developer
  • program_developer
  • 2018-04-06 22:21:21
  • 39

优化算法:牛顿法

我们在接触具体的机器学习算法前,其实很有必要对优化问题进行一些介绍。 
随着学习的深入,笔者越来越发现最优化方法的重要性,学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解,比如我们现在学习...
  • touristman5
  • touristman5
  • 2017-02-15 15:59:24
  • 1103

自问自答1——为什么深度学习不采用牛顿法及其衍生算法作为优化算法?

原因一:Hessian矩阵难以求解。深度网络很难写出拟合函数的表达式,遑论直接得到其梯度表达式,更不要说得到基于梯度的Hessian矩阵了。...
  • VictoriaW
  • VictoriaW
  • 2017-05-12 10:36:42
  • 955

最优化理论与方法-牛顿迭代法后续

关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习,分享我在学习过程中的读书笔记!一起来学习,一起来交流,一起来进步吧!本文同步更新在我的微信公众号里,地址:https://...
  • program_developer
  • program_developer
  • 2018-04-06 22:20:18
  • 22

优化算法——凸优化的概述

一、引言    在机器学习问题中,很多的算法归根到底就是在求解一个优化问题,然而我们的现实生活中也存在着很多的优化问题,例如道路上最优路径的选择,商品买卖中的最大利润的获取这些都是最优化的典型例子,...
  • google19890102
  • google19890102
  • 2015-03-02 15:45:06
  • 7744

无约束最优化方法-牛顿法

 无约束最优化算法-Newton法原理及c++编程实现 2012-12-14 13:04 6536人阅读 评论(5) 收藏 举报 本文章已收录于: 分...
  • starzhou
  • starzhou
  • 2016-06-01 17:05:26
  • 1560

最优化学习笔记(一)——牛顿法(一维搜索方法)

一、一维搜索方法讨论目标函数为一元单值函数f:R→Rf: \mathbb{R} \to \mathbb{R}时的最优化问题的迭代求解方法。二、局部极小点的条件n元实值函数ff的一阶导数DfDf为: ...
  • chunyun0716
  • chunyun0716
  • 2016-04-17 12:02:46
  • 2220

最优化学习笔记(六)——牛顿法性质分析

一、牛顿法存在的问题    在单变量的情况下,如果函数的二阶导数f′′
  • chunyun0716
  • chunyun0716
  • 2016-07-24 11:38:35
  • 540

Newton法(牛顿法 Newton Method)

平时经常看到牛顿法怎样怎样,一直不得要领,今天下午查了一下维基百科,写写我的认识,很多地方是直观理解,并没有严谨的证明。在我看来,牛顿法至少有两个应用方向,1、求方程的根,2、最优化。牛顿法涉及到方程...
  • qq_36330643
  • qq_36330643
  • 2017-09-16 15:30:47
  • 526
    个人资料
    持之以恒
    等级:
    访问量: 3万+
    积分: 1553
    排名: 3万+
    提升认知
      送你一份大礼物,扫码领取
      微信
    最新评论