凸优化笔记6（共轭梯度法）

最新推荐文章于 2024-04-14 08:10:46 发布
最新推荐文章于 2024-04-14 08:10:46 发布
阅读量5.6k 收藏 45
点赞数 7
分类专栏： 凸优化 文章标签： 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47707533/article/details/124870276
版权

前言

下面将介绍共轭梯度法，及其推导过程，迭代过程的公式为标红的1，2，3，4，并附有例题。

一、共轭梯度法简介

“共轭梯度法”是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。”

二、基本思想及参数推导

请添加图片描述
请添加图片描述

三、示例在这里插入图片描述

在这里插入图片描述

笔下万码生谋略
关注
  • 7
    点赞
  • 踩
  • 45
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
共轭梯度法求解线性方程组
lijiaxu_1的博客
04-09 1万+
1.1算法原理及程序框图 当线性方程组Ax= b的系数矩阵A是对称正定矩阵时，可以采用共轭梯度法对该方程组进行求解，可以证明，式(1)所示的n元二次函数                                        （1）       取得极小值点x*是方程Ax= b的解。共轭梯度法是把求解线性方程组的问题转化为求解一个与之等价的二次函数极小值的问题。从任意给定的初始点出发
共轭梯度法(Conjugate gradient)详解
热门推荐
bitcarmanlee的博客
11-24 2万+
1.什么是共轭向量 对于正定矩阵Q，如果有 xTQy=0x^TQy = 0xTQy=0 那么我们可以称x, y是关于Q-conjugate。 2.线性方程组求解与二次函数求极小值转化 最初，共轭梯度法是用来求解线性方程Ax=bAx = bAx=b的一种方法，特别是稀疏线性方程组迭代求解法里面最优秀的方法，其被称为线性共轭梯度法。后来，人们把这种方法慢慢推广到了非线性问题求解中，称为非线性共轭梯度法。 求解Ax=bAx = bAx=b时，最简单粗暴的方式为x=A−1bx = A^{-1}bx=A−1b。但是这
共轭梯度算法之FR算法
qiuxinmin的博客
11-30 4633
共轭梯度算法之FR算法引理FR算法算法步骤 引理 若f(x)=12xTGx+δTx+γf(x)=\frac{1}{2}x^TGx+\delta^T x+\gammaf(x)=21​xTGx+δTx+γ为正定函数,则ϕ(αk)=minαf(xk+αdk)\phi(\alpha_k)=\underset{\alpha}{min}f(x_k+\alpha d_k)ϕ(αk​)=αmin​f(xk​+αdk​)有如下形式的解： αk=−∇f(xk)TdkdkTGdk \alpha_k=-\frac{\nabla f
训练神经网络的常用方法之共轭梯度法
weixin_47414849的博客
02-19 3340
共轭梯度法是介于梯度下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，既克服了梯度下降法收敛慢的缺点，又避免了牛顿法需要存储和计算海塞矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。 共轭梯度法的迭代公式如下所示： 使用共轭梯度法对正定线性方程组进行求解，代码如下所示 function [er,k]=ConGra(A) %共轭
非线性系列（二）—— 共轭梯度法 Conjugate Gradient Method （线性及非线性）
最新发布
csdnzzt的博客
04-14 921
CG方法第一次被用来解非线性优化问题，是由Fletcher和Reeves提出的。（英语：BiConjugate gradient method）提供了一种处理非对称矩阵情况的推广。共轭梯度法（英语：Conjugate gradient method），是求解系数矩阵为。共轭梯度法中，搜索方向p，是关于A共轭的，即。最后的解为 [1, 1]，f(x)最小值为0。其中delta为方向，beta为步长。共轭梯度法是一个迭代方法，它适用于。的线性方程组的数值解的方法。1. 求解线性方程组，首先安装自动微分工具。
最优化考试之共轭梯度法
weixin_43575792的博客
12-26 527
共轭梯度法在第一次时迭代的过程和最速下降法一样，但从第二步开始共轭梯度法就发生了变化，共轭梯度法的梯度下降方法不再是直接根据当前点计算∇f(x)
凸优化笔记复习期末考试精简
10-24
此外，还有更高效的算法，如拟牛顿法和共轭梯度法，它们在保持全局收敛性的前提下，通过更精确地近似海森矩阵（Hessian矩阵）来加速收敛。 在机器学习中，凸优化的应用广泛。例如，逻辑回归、支持向量机、线性回归...
凸优化理论笔记.zip_凸优化_凸优化笔记
07-14
总结来说，这份"凸优化理论笔记"将涵盖凸函数和凸集的定义、凸优化问题的性质、优化算法的原理，以及一些高级理论。通过学习这些内容，不仅可以增强解决实际问题的能力，也为深入研究机器学习、统计优化等领域的高级...
凌青凸优化笔记1
08-04
凸优化的算法主要包括梯度下降法、牛顿法、拟牛顿法等。其中，梯度下降法是通过沿着目标函数梯度的反方向迭代寻找最小值，而牛顿法则是基于二阶导数的迭代方法，拟牛顿法则在不具备二阶导数信息时给出近似。 5. **...
中科大凸优化-笔记-最优化理论笔记
10-11
例如，梯度下降法是求解凸优化问题的一种常用迭代方法，它沿着目标函数梯度的反方向更新参数，直至达到最小值。 三、二次规划 二次规划是最简单但又非常重要的凸优化问题类型，目标函数是二次函数，约束条件可以是...
共轭梯度法求解二元函数极小值
12-21
x0=[1;1];%初始点 xk=x0; g0=zeros(2,1); g1=zeros(2,1); g2=zeros(2,1); d0=zeros(2,1); d1=zeros(2,1); syms x1 syms x2 xk1=xk; % 计算xk点的梯度及梯度值 fun=fun(x1,x2); fx1=diff(fun,'x1'); fx2=diff(fun,'x2'); fun=inline(fun); fx1=inline(fx1); fx2=inline(fx2); funval=feval(fun,xk1(1),xk1(2)); gradx1=feval(fx1,xk1(1),xk1(2)); gradx2=feval(fx2,xk1(1),xk1(2)); % 计算搜索方向d0 d0(1)=-gradx1; d0(2)=-gradx2; g0(1)=gradx1; g0(2)=gradx2; % 沿搜索方向d0进行一维搜索
共轭梯度法C语言源程序
04-22
共轭梯度法C语言源程序。以多项式为目标函数。
matlab_FR共轭梯度算法+BFGS拟牛顿算法
11-12
matlab_FR共轭梯度算法+BFGS拟牛顿算法 求解实例在funf.m中，我是手动求解的g，大家可以自动求。
共轭梯度法(Conjugate Gradient Method)
Liang_Ling的博客
11-16 1万+
我们要求解线性方程组 Ax=bAx=b 其中AA 是对称正定矩阵（spd），给定RnR^n中n个线性无关的向量r0,r1,⋯,rn−1r_0,r_1,\cdots,r_{n-1}, 我们想要构造另外的一组基p0,p1,⋯,pn−1p_0,p_1,\cdots,p_{n-1}, 并满足 ⟨pi,pj⟩=0,∀i≠j\langle p_i, p_j\rangle=0,\quad \forall i
数值分析-基本算法流程图：二分法、简单迭代法、复化梯形公式、弦截法、辛普森
Iris54Iris的博客
06-28 1万+
1.二分法2.复化Simpson公式3.复化梯形公式4.简单迭代法5.牛顿迭代法6.弦截法
常见的几种最优化方法（梯度下降法、牛顿法、拟牛顿法、共轭梯度法等）
weixin_41656025的博客
09-22 1099
常见的几种最优化方法（梯度下降法、牛顿法、拟牛顿法、共轭梯度法等） 我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的重要性，学习和工作中遇到的大多问...
运筹学（最优化理论）学习笔记 | 共轭梯度法
wenyusuran的专栏
06-06 2949
最近小编复习了一下无约束问题最优化算法中的共轭梯度法。无约束问题最优化方法包括最速下降法、牛顿法、共轭梯度法、拟牛顿法等等。借用书中的一句话： 无约束优化问题的求解通过一系列一维搜索来实现。因此怎样选择搜索方向是解无约束问题的核心，搜索方向的不同选择，形成不同的最优化方法 既然我们说到搜索方向的不同选择会形成不同的最优化算法，那么今天复习的共轭梯度法是基于共轭方向的一种算法。那么问题来了，什么是共轭方向? 其实说白了两个方向共轭和两个方向正交从某种角度来说意思差不多，只不过正交在观感上更.
共轭梯度法(Conjugate Gradients)解方程(python,数值积分)
seventonight的博客
04-19 1999
第十二课 共轭梯度法解方程 运行上一篇的程序得到的结果表明，最陡下降法与迄今为止所其它迭代方法比较，在迭代次数上没有竞争力。然而，如果从根本上改进与[A]相互“共轭”的下降向量。于是，引入了满足以下关系的“下降向量” 按照我的个人理解，共轭梯度法不仅在试解上做修正，还在误差值上做改进，这样做的目的是为了提高迭代效率 最陡下降法将被改进为， 算例依然采用高斯赛德尔的例子 程序代码如下：分别为一个主程序和一个检查收敛的子程序checkit 主程序 #线性联立方程的共轭梯度法 import numpy as n
中科大凸优化理论笔记：从基础到高级概念
"最优化理论笔记.pdf，这是一份来自中科大的凸优化课程笔记，涵盖了从基本概念到深入理论的多个方面。" 在最优化理论中，凸优化是一种重要的分支，它主要研究和解决那些目标函数是凸函数，或者约束集是凸集的优化...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

笔下万码生谋略

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值