最小二乘法

本文介绍了最小二乘法,从勒让德的目标函数到高斯的概率论思考,再到梯度下降法和牛顿法的优化策略。最小二乘法旨在找到使误差平方和最小的拟合函数,高斯认为误差服从正态分布,并利用极大似然估计。梯度下降法通过梯度更新参数,而牛顿法则利用泰勒级数进行更精确的迭代求解。
摘要由CSDN通过智能技术生成

E[d2]=E[(s(k)-se(k))2]
sek=∑Ni=1ais(k-i)
dE[d2]/dai=0 i=0,1,2…
联立,有
E[2(s(k)-∑ams(k-m))s(k-i)]=0
有E[s(k)s(k-i)]=E[∑ams(k-m)s(k-i)]
即E[s(k)s(k-i)]=∑E[ams(k-m)s(k-i)]
即R(i)=∑N-im=-(i+1)amR(|m|)

最小二乘法

最小二乘法是勒让德在19世纪发现的
目标函数=∑(理论-观测)2
即测量值减去拟合函数,然后平方求和,我们的目标就是找到一个使这个目标函数最小的拟合函数(导数为0时就是最小值),即为真值(如果误差是随机的就应该上下波动在真值附近),这一点也挺符合我们的直觉。
求个导哈
即d目标函数/d理论=2∑(理论-观测)=0
即∑观测/观测个数=理论
emmmmm听起来好像是 算术平均来着???

高斯的思考

高斯通过了概率论去思考这个问题。他认为误差最终会形成一个概率分布,后来解出来的这个概率分布就是…没错,正态分布。
高斯他老人家是怎么解的呢?
设一

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值