牛顿法和牛顿下山法求极值的理解

泰勒展开

先创建一个不太方便求解的方程 sin ⁡ x = − 0.01 e x \sin x=-0.01e^x sinx=0.01ex,并用matlab画出来 y = sin ⁡ x + 0.01 e x y=\sin x+0.01e^x y=sinx+0.01ex y = 0 y=0 y=0的图像。

在这里插入图片描述

牛顿法的理解

y : f ( x ) = 0 y:f(x)=0 y:f(x)=0的解,其实可以理解为求 y : F ( x ) = − cos ⁡ x + 0.01 x y:F(x)=-\cos x+0.01x y:F(x)=cosx+0.01x的极值:

牛顿法的基本思想是:在现有极小值点的估计值附近,对 f ( x ) f(x) f(x)做二阶泰勒展开,进而找到下一个极小值点的估计值。
但如果没有以3为起点,而是用2作为起点,很有可能就收敛不到想要的解了。\

x1=newtonn(3)                 %使用一次函数 	
x2=newtonn(x1)               %使用两次函数 
figure 	plot(t,y3,'r',t,y4,'k',x1,0,'r.',x2,0,'g.'); 
hold on 	
plot(t(3001),y3(3001),'*r')   %初始迭代点
function [ out ] = newtonn( x )
y=sin(x)+0.01*exp(x);
dy=cos(x)+0.01*exp(x);
out = x-y/dy;
end
  • 优点:收敛速度快;
  • 缺点:对初值要求高,当初始值离根很远时,可能会造成结果发散。

牛顿法的改进——牛顿下山法

背景:为了解决上述结果容易发散的缺点,而制定的算法。
思路:针对发散的情况,使有意识的使 ∣ f ( x k + 1 ) ∣ < ∣ f ( x k ) ∣ |f(x_{k+1})|<|f(x_k)| f(xk+1)<f(xk),即从现象上避免了结果发散。

为了达成这一结果,考虑到如果 x k + 1 = x k x_{k+1} = x_k xk+1=xk,则 ∣ f ( x k + 1 ) ∣ = ∣ f ( x k ) ∣ |f(x_{k+1})|=|f(x_k)| f(xk+1)=f(xk),所以只需限制x的增量值即可。

牛顿下山法原理

经典牛顿法:
x k + 1 = x k − f ( x k ) f ′ ( x k ) x_{k+1}=x_k-\frac{f(x_k)}{f^{'}(x_k)} xk+1=xkf(xk)f(xk)

加权平均:
x k + 1 ′ = λ x k + 1 + ( 1 − λ ) x k x^{'}_{k+1}=\lambda x_{k+1}+(1-\lambda)x_k xk+1=λxk+1+(1λ)xk

拟牛顿法:
x k + 1 ′ = λ ( x k − f ( x k ) f ′ ( x k ) ) + ( 1 − λ ) x k = x k − λ f ( x k ) f ′ ( x k ) x^{'}_{k+1}=\lambda (x_k-\frac{f(x_k)}{f^{'}(x_k)})+(1-\lambda)x_k=x_k-\lambda \frac{f(x_k)}{f^{'}(x_k)} xk+1=λ(xkf(xk)f(xk))+(1λ)xk=xkλf(xk)f(xk)

总结

限于文章篇幅,这里只简单叙述牛顿法某一方面的缺点及牛顿下山法对此的改进措施。改进只是立足主要矛盾下的,任何改动都不可避免的会产生次要矛盾,比如收敛速度。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MATLAB卡尔曼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值