《共轭梯度法》读书笔记(一)——最速下降法

本文探讨了二次型方程的求解问题,重点介绍了最速下降法(Steepest Descent)的原理和收敛性。通过定义误差和残差,解释了最速下降法如何沿着梯度方向迭代,并分析了其收敛性,指出条件数对收敛速度的影响。此外,还讨论了最速下降法在面对条件数较大时的局限性。
摘要由CSDN通过智能技术生成

求解问题

二次型 (Quadratic form)是一个形如 f(x)=12xTAxbTx+c f ( x ) = 1 2 x T A x − b T x + c 的标量二次方程,如果 A A 是一个 n n 对称正定阵,那么 f(x) f ( x ) 的最小值在 Ax=b A x = b 时取到。计算如下:

f(x)=Axb=0 f ′ ( x ) = A x − b = 0

换一种方式,如果 x=A1b x = A − 1 b ,对任意 e0 e ≠ 0 ,都有 f(x+e)>f(x) f ( x + e ) > f ( x ) ,证明如下:

f(x+e)=12(x+e)TA(x+e)bT(x+e)+c=12xTAxbTx+c+eTAxbTe+12eTAe=f(x)+12eTAe>f(x) f ( x + e ) = 1 2 ( x + e ) T A ( x + e ) − b T ( x + e ) + c = 1 2 x T A x − b T x + c + e T A x − b T e + 1 2 e T A e = f ( x ) + 1 2 e T A e > f ( x )

因此,待求解的问题就是解 Ax=b A x = b ,或者等价的,求解二次型方程 f(x) f ( x ) 的最小值。

误差与残差

最速下降法迭代求解 Ax=b A x = b 。定义第 i i 次迭代得到的解为 x ( i ) ,随着迭代次数 i i 的增加,如果算法收敛,则 x ( i ) 将趋向于正解 x x
定义第

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值