优化理论06-----共轭梯度法: 线性共轭方向法

已于 2022-11-26 14:59:09 修改
阅读量1.2k 收藏
点赞数 2
分类专栏： 深度学习数学理论 文章标签： 人工智能 算法 python 深度学习
于 2021-06-03 22:05:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43940950/article/details/117536016
版权

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖

💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖

优化理论06-----共轭梯度法、线性共轭方向法

优化理论06-----非线性共轭梯度法: HS、FR-CG、PR-CG、PR±CG_

无约束优化-----共轭梯度法

文章目录


最优化知识笔记整理汇总，超级棒
了解本专栏 订阅专栏 解锁全文
优化理论06-----非线性共轭梯度法: HS、FR-CG、PR-CG、PR+-CG
炫云云
11-26 1127
💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖 💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖 无约束优化-----共轭梯度法 文章目录 无约束优化-----共轭梯度法 2 非线性共轭梯度法 算法（HS共轭梯度法） \Large\color{violet}{例3}例3 参考资料
《共轭梯度法》读书笔记（二）——共轭方向法
yucong96的博客
08-31 6576
最速下降法的缺陷 上一节中已经提到了最速下降法容易走出“之”字形的路线，这些路线方向虽然都是梯度，但非常类似。如果每次的路线都是彼此正交的，那么即使没有选择局部变化率最大的梯度，也能够很快收敛到正解，如下图。 共轭方向法的intuition 这就引出了共轭方向法 (Conjugate Directions)。 一种理想但无法实现的共轭梯度法 我们选择一组正交的搜索方向，记为dj(j=...
线性共轭方向法
Leslie Lee's blog includes programming in math, physics, and engineering.
01-06 759
能用最简单的话描绘出你所说的问题才是好样的，现实中往往怕嘲笑或为了装高级，而将描绘复杂化。 工科生不需要学理论？大错特错。 线性共轭方向法 求解线性方程组问题，在数值计算中有对应的解法，在最优化中将其转化为一个最优问题。 求解转化为求解 初始点x0，初始方向d0 1.计算步长αk，αk = argmin{f(xk+α*dk)}，α>=0 2.xk+1 = xk + αk*dk 3.计算方向dk+1，使其与dk,...d0关于A共轭 4.k=k+1 算法当然有终止计算的规则，我没写。 共轭.
最优化 HS共轭梯度法
最新发布
m0_62391617的博客
06-15 195
两类修正的HS 共轭梯度法 (2009年)
05-15
给出了两类求解无约束最优化问题修正的HS共轭梯度法.在Wolfe线搜索下,无需给定下降条件即可得到算法的全局收敛性.数值试验证明了该方法的有效性和稳定性.
共轭梯度下降法matlab,共轭梯度法MATLAB程序.doc
weixin_35709751的博客
03-16 484
共轭梯度法MATLAB程序%conjugate gradient methods%method:FR,PRP,HS,DY,CD,WYL,LS%精确线搜索,梯度终止准则function [ m,k,d,a,X,g1,fv] conjgradme G,b,c,X,e,methodif nargin 6 error '输入参数必须为6' ;endn length G ;if n 2format ...
非线性共轭梯度法,非线性共轭梯度法实例,matlab
09-10
非线性共轭梯度法（Nonlinear Conjugate Gradient Method）是一种在数值优化领域广泛应用的迭代算法，尤其适用于解决大型、高维的无约束优化问题。它在很多科学计算和工程问题中都有广泛的应用，比如机器学习中的...
非线性共轭梯度法_共轭梯度法_使用非线性共轭梯度法求解优化问题_共轭梯度
09-10
非线性共轭梯度法（Nonlinear Conjugate Gradient Method）是数值优化领域中解决无约束优化问题的一种高效算法，特别适用于大型稀疏线性系统。它在很多科学计算和工程应用中都有广泛的应用，比如机器学习、信号处理...
共轭梯度法matlab代码实现-rconjgrad:R中的（非线性）共轭梯度优化器与Rasmussen和More-Thuente线搜索
06-04
中的共轭梯度优化器与 Rasmussen 和 More-Thuente 线搜索。 注意：此包已被 . 这个包结合了两个 Matlab 例程的 R 翻译。 第一个是 Carl Edward Rasmussen 的 ，它有自己的线搜索方法，它使用三次和二次内插和外推来...
改进HS共轭梯度算法及其全局收敛性
03-12
改进HS共轭梯度算法及其全局收敛性，吴慧明，，基于梯度理论的非线性优化理论和方法中有很多种算法，其中共轭梯度法有其自身的特点和优势。共轭梯度法仅需利用一阶导数信息，但
共轭梯度法（CG）详解
LSEC小陆的博客
05-26 1万+
共轭梯度法（CG）详解 文章目录共轭梯度法（CG）详解线性共轭梯度法共轭方向共轭方向法CG 方法预条件非线性共轭梯度法FR 方法其他非线性 CGPR+ 方法重启动 之前写过几个关于共轭梯度法的注记，譬如： https://blog.csdn.net/lusongno1/article/details/78550803 https://blog.csdn.net/lusongno1/article/details/68942821 但事实上很多人反应，看得一头雾水，基于此，本篇文章旨在对于共轭梯度方法从优
共轭方向法和共轭梯度法
热门推荐
JasonQ的专栏
11-16 2万+
共轭方向法是介于最速下降法和Newton法之间的一种方法。克服了最速下降法的锯齿现象，从而提高了收敛速度；同时，共轭方向法的迭代公式比较简单，不必求目标函数的Hesse矩阵，比Newton法减少了计算量和存储量。是一种比较实用而且有效的方法。
二次优化问题dfp_最优化方法复习笔记（六）共轭梯度法
weixin_39782500的博客
01-05 2115
哈，没想到呀，写CG的手感这么好。一天就写了1w字，美汁汁。好啦好啦，copy完本地的markdown就去写欠课题组的模型啦（摸了）事实是，数据结构课设没写完+毛概没复习的我可能会和舍友来一场CS欢乐赛。不会有人觉得CS是computer science的简称吧。不会吧，不会吧。（当然，希望导师这么认为>_<）目录（传统艺能）回顾梯度下降法共轭方向hook从正交到共轭二次型的共轭方向怎...
最优化——FR共轭梯度法matlab程序
beatbean
12-31 9898
%  cg.m function [x, output] = cg(fun, dfun, x0) % fun: character variable, the name of function computing objective function % dfun: character variable, the name of function computing the gradient
共轭方向法
tyli__的博客
04-02 5513
文章目录共轭方向法基本的共轭方向算法算法过程共轭梯度法算法过程非二次型的共轭梯度法 共轭方向法 共轭方向法的收敛速度介于最速下降法和牛顿法之间。 对于n维二次型问题，能够在n步之内得到结果； 作为共轭方向法的典型代表，共轭梯度法不需要计算黑塞矩阵； 两次搜索方向之间是共轭的。 对于所有的i≠ji\neq ji̸​=j，有d(i)TQd(j)=0d^{(i)T}Qd^{(j)}=0d(i)TQd...
最优化学习笔记（八）——共轭方向法
chunyun0716的专栏
08-07 9614
从这节开始，将学习共轭方向法的相关内容，本篇先做一个简短的开篇。共轭方向法的计算效率不如之前的牛顿法，但是也优于最速下降法。它有以下优势： 对于nn维二次型问题，能够在nn步之内得到结果； 作为共轭方向的典型代表，共轭梯度法不需要计算hessian矩阵； 不需要存储n×nn \times n矩阵，也不需要对其进行求逆运算。      如果Rn\mathbb{R}^n中的两个方
最优化学习笔记（十四）——共轭梯度法
chunyun0716的专栏
12-18 2万+
共轭梯度法不需要预先给定Q\boldsymbol{Q}共轭方向，而是随着迭代的进行不断产生Q\boldsymbol{Q}共轭方向。在每次的迭代中，利用上一个搜索方向和目标函数在当前迭代点的梯度向量 之间的线性组合构造一个新的方向，使其与前边已经产生的搜索方向组成Q\boldsymbol{Q}共轭方向。对于一个nn维二次型函数，沿着Q\boldsymbol{Q}共轭方向进行搜索，经过nn次迭代，即可得
深入浅出最优化(5) 共轭梯度下降法
weixin_43441742的博客
05-14 4620
1 共轭方向的定义 对于正定二次函数f(x~)=12x~TG~x~+b~Tx~f(\tilde{x})=\frac{1}{2}\tilde{x}^T\tilde{G}\tilde{x}+\tilde{b}^T\tilde{x}f(x~)=21​x~TG~x~+b~Tx~，其中GGG是n×nn\times nn×n对角阵，对角元均为正数，这种情况下函数关于原点中心对称，每列由一个n元向量组成，向着每个维度，即正交搜索方向d~\tilde{d}d~，作一次精确线搜索就可以得到最小值的精确解，具有二次终止性。这个
PRP 共轭梯度法
weixin_41514525的博客
11-24 4134
PRP共轭梯度法对于正定的二次函数而言和FR共轭梯度法效果是近似的，而对于一般的函数来说的话，PRP算法一般由于FR算法 from 实用优化算法.helper import* # 单独博客介绍 import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D x1,x2,a = symbols('x1...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

炫云云

你的鼓励是我创作最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值