【证明】共轭梯度法在二次函数 f (x) 上迭代 K 次即可收敛到最优点, 其中K 是矩阵 Q 的不同的特征值的数目

已于 2023-03-15 16:13:47 修改
阅读量302 收藏
点赞数 1
文章标签： 矩阵 线性代数
于 2022-06-14 19:10:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54025765/article/details/125284332
版权

参考书：Numerical Optimization

CSDN不能用latex写，只能截pdf了，latex转成markdown文件效果不太好=-=

 

9e6a12767e3b48f58f348c846a0ed53f.png

97d9e52cc47e4657b460e9851f8c3092.png 

c32f5e756f68488e9266110611cd312e.png 

3f5360ef1ef54569bbf17e166512d7c2.png 

3c164c6a47c4475ea560f1e658879676.png 

69b9b16a23bb4aa5888e1d115c5cc1cd.png 

 

 

 

头发是我最后的倔强
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
共轭梯度法的原理和证明
11-08
几种主要共轭梯度法的介绍和原理的证明，是数值计算的重要工具
牛顿迭代法（适用于二次函数的方法）
weixin_55911969的博客
09-23 666
牛顿迭代法，用于二次函数的计算
关于共轭向量的两个证明
weixin_44437091的博客
06-02 1万+
关于共轭向量的两个证明 陈宝林最优化理论与算法中共轭梯度法所提到的共轭向量概念，两道证明题算是经典的作业题。 设A为n阶对称正定矩阵，非零向量 p(1)p^{(1)}p(1), p(2)p^{(2)}p(2), …,p(n)∈p^{(n)}\inp(n)∈ RnR^nRn关于矩阵A共轭。证明： （1）x=∑i=1np(i)TAxp(i)TAp(i)p(i),∀x=\sum_{i=1}^n\frac{p^{(i)T}Ax}{p^{(i)T}Ap^{(i)}}p^{(i)},\forallx=∑i=1n​p
共轭梯度法推导
youtuodai1436的博客
03-24 2378
1.共轭向量  在介绍共轭梯度法前，首先介绍一下共轭向量的概念。对于向量e1\boldsymbol{e_1}e1​，e2\boldsymbol{e_2}e2​，如果两个向量正交，则有e1Te2=0\boldsymbol{e_1}^\mathrm{T}\boldsymbol{e_2}=0e1​Te2​=0，那么对于共轭向量来说，假设有一正定对称矩阵A\boldsymbol{A}A，如果e1TAe2=...
凸优化笔记6（共轭梯度法）
weixin_47707533的博客
05-19 5694
前言 下面将介绍共轭梯度法，及其推导过程，迭代过程的公式为标红的1，2，3，4，并附有例题。 一、共轭梯度法简介 “共轭梯度法”是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。” 二、基本思想及
matlab用共轭梯度法和DFP方法求二次函数的极值
11-16
1. 定义二次函数：通常是一个关于变量的二次多项式，如`f(x) = x'*A*x + b'*x + c`，其中A是对称正定的系数矩阵，b是线性项系数向量，c是常数项。 2. 初始化：设定初始猜测值`x0`，可能还有迭代次数`maxiter`和容...
cg-NT.zip_conjugate gradient_flagiyh_共轭梯度法_希尔伯特矩阵_牛顿方法
07-13
共轭梯度法是一种用于求解对称正定线性系统的迭代方法，它以最少的迭代次数收敛到精确解。该方法基于梯度下降法，并通过引入共轭方向来改善其性能。共轭梯度法的核心思想是每次迭代选择一个与之前所有方向都正交的新...
基于Python共轭梯度法与最速下降法之间的对比
09-17
这使得共轭梯度法在理论上可以在不超过n次迭代（n为变量的维度）内找到二次函数的最小值，而且通常比最速下降法更快地收敛。它分为不同的格式，如FR格式（Fletcher-Reeves）和PRP格式（Polak-Ribière-Polyak），...
ｆｒ共轭梯度法＋割线法_matlab_梯度法_
09-30
在数值优化领域，共轭梯度法（Conjugate Gradient Method）和割线法是两种常用的求解二次可微函数最小值的算法。这两种方法在MATLAB环境中都有广泛的应用，因为MATLAB提供了强大的数学计算库支持。下面我们将详细...
目标函数极值求解的几种方法 最速下降法，你牛顿法，共轭梯度法编程实现
03-24
迭代公式为：`x_{k+1} = x_k - α_k * ∇f(x_k)`，其中`α_k`是沿负梯度方向的一维搜索步长，`∇f(x_k)`是目标函数在点`x_k`处的梯度。MATLAB实现时，首先计算梯度，然后执行一维搜索（如黄金分割法）来确定合适的...
CG共轭梯度下降法【学习笔记、例题与代码】
一起学习 | Study Together
05-19 3930
改良梯度下降法
共轭梯度法详细推导分析
开贰锤
11-29 4万+
共轭梯度法是一种经典的优化算法。算法求解速度较快，虽然比梯度下降法复杂，但是比二阶方法简单。 一、引入 1. 优化模型建立 假定待优化的问题如下所示： min⁡xf(x)=12xTAx−bTx \min_{x} f(x)=\frac{1}{2}x^TAx - b^Tx xmin​f(x)=21​xTAx−bTx 其中xxx为待优化变量，AAA为半正定矩阵（在线性代数中，正定矩阵为对称矩阵），bbb...
共轭梯度法的推导与完整算法
Eason的博客
11-29 4万+
共轭梯度法学习自知乎：https://www.zhihu.com/question/27157047和非线性规划课程简介在数值线性代数中，共轭梯度法是一种求解对称正定线性方程组Ax=b的迭代方法。事实上，求解Ax=b等价于求解： min||Ax−b||22min||Ax-b||_2^2 ,将其展开后可以得到：minxTATAx−bTAx+bTbmin \quad x^TA^TAx-b^TAx+b^T
共轭梯度（CG）算法
热门推荐
LSEC小陆的博客
11-16 9万+
共轭梯度（CG）方法计算数学与科学工程计算研究所 陆嵩简单介绍共轭梯度方法也是一种迭代方法，不同于Jacobi，Gauss-Seidel和SOR方法，理论上只要n步就能找到真解，实际计算中，考虑到舍入误差，一般迭代3n到5n步，每步的运算量相当与矩阵乘向量的运算量，对稀疏矩阵特别有效。 共轭梯度方法对于求解大型稀疏矩阵是很棒的方法，但是这个方法看起来总不是太靠谱。这个方法也不是越迭代精度越高，有
python:共轭梯度法，特征值聚堆情况下迭代次数讨论
qq_37789035的博客
04-04 392
共轭梯度法，特征值聚堆情况下迭代次数讨论 输入各种特征值聚堆与分散时的矩阵，并应用共轭梯度法，观察迭代次数与聚堆情况的关系。 因为对角矩阵的对角线元素为其特征值，则用对角矩阵讨论较为方便 代码 import numpy as np def cg(x0, A, b): r0 = np.dot(A, x0) - b p0 = -r0 rk = r0 pk = p0 xk = x0 t = 0 #记录迭代次数 while np.linalg.norm
R语言学习笔记10-向量-矩阵-数组-数据框-列表对比
最新发布
weixin_42333247的博客
07-17 373
数据框是R中常用的二维表格型数据结构，类似于数据库中的表格，每列可以是不同类型的数据（例如数值、字符、因子等）列表是一种复合数据结构，可以包含不同类型的数据对象，每个元素可以是向量、矩阵、数据框或其他列表等。矩阵是由相同数据类型的元素按行列组成的二维数据结构。向量是R中最基本的数据结构，可存储相同类型的元素。数组是由相同类型的元素组成的多维数据结构。
企业、门店如何布局矩阵？云微客如何提升获客效率？
yunweikeAI的博客
07-16 682
短视频矩阵还具有巨大的潜力和市场前景，通过合理利用短视频平台的特点和矩阵系统的优势，企业可以轻松实现获客目标，这样的矩阵系统必将是获客引流的大杀器。借助一键智能分发功能，企业能够一次性发布内容到多个短视频平台，不再需要多个运营人员逐个手动发布，大大提高了内容发布的效率，也节省了企业运营人员的时间和精力，摈弃了费时费力的传统分发模式。如果你是老板，你想在短视频平台获客的话，成本真的太高了。企业布局矩阵，就是建立多个账号，通过大量更新发布短视频内容，以量取胜获得多个平台的流量曝光，促进企业获客销售转化。
面试题 29. 顺时针打印矩阵
weixin_51332735的博客
07-16 338
输入：matrix = [[1,2,3],[4,5,6],[7,8,9]]输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字。输出：[1,2,3,6,9,8,7,4,5]从外往里一圈一圈遍历并存储矩阵元素即可。
对于一个二元二次方程组，使用共轭梯度法进行迭代求值并绘制等值图，写出matlab的程序
07-09
以下是使用共轭梯度法迭代求解二元二次方程组并绘制等值图的MATLAB程序： ```matlab % 定义二元二次方程组 syms x y; f = x^2 + 3*y^2 - 4*x + 6*y + 6; grad_f = gradient(f, [x, y]); % 初始点和迭代步长 x0 = 0; y0 = 0; alpha = 0.1; % 步长 % 迭代求解 max_iter = 100; % 最大迭代次数 tolerance = 1e-6; % 收敛容差 iter = 0; x_sol = [x0; y0]; % 解向量 % 初始化共轭方向和梯度 d = -double(subs(grad_f, [x, y], x_sol')); grad_prev = d; while iter < max_iter iter = iter + 1; % 计算步长 alpha = (-grad_prev' * d) / (d' * double(subs(hessian(f, [x, y]), [x, y], x_sol'))); % 更新解向量 x_sol_new = x_sol + alpha * d; % 计算梯度 grad_val = double(subs(grad_f, [x, y], x_sol_new')); % 计算共轭方向 beta = (grad_val' * grad_val) / (grad_prev' * grad_prev); d = -grad_val + beta * d; % 判断是否收敛 if norm(x_sol_new - x_sol) < tolerance break; end x_sol = x_sol_new; grad_prev = grad_val; end % 绘制等值图 [x, y] = meshgrid(-10:0.1:10); z = double(subs(f, [x, y], {x, y})); contour(x, y, z, 'ShowText', 'on'); hold on; plot(x_sol(1), x_sol(2), 'r*', 'MarkerSize', 10); hold off; % 输出结果 disp('迭代求解结果：'); disp(['x = ', num2str(x_sol(1))]); disp(['y = ', num2str(x_sol(2))]); ``` 请注意，此程序使用MATLAB的符号计算功能来计算梯度、海森矩阵和函数值，并使用`contour`函数绘制等值图。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值