Bayes估计需要已知后验分布函数f(θ|x1,…,xN),而最大似然估计则需要已知似然函数f(x1,…,xN|θ)。但是,在很多实际情况下,它们是未知的。另外,最大似然估计有时会导致非线性估计问题,不容易求解。因此,不需要先验知识、并且容易实现的线性估计方法就显得十分有吸引力。线性均方估计和最小二乘估计就是这样两类参数估计方法。
线性均方估计的规则,就是把估计量(θ)构造成观测量(x)的线性函数,同时要求估计量的均方误差最小。
线性估计
在线性均方(linear mean squares,LMS)估计中,待定的参数估计子被表示为观测数据的线性加权和,已知观测样本为xi(i=1,...,N),则参数θ的估计值可以写为
估计量的均方误差为
线性均方估计通过选择最佳系数ai和b,使得估计量的均方误差最小。
均方误差分别对ai和b求偏导,并令结果等于0
整理可得:
正交性原理可用文字叙述如下:均方误差最小,当且仅当估计误差e正交于每一个给定的观测数据xi,其中i=1,…,N。
例:设观测模型为zi=s+vi(i=1,2,.…),其中随机参量s以等概率取{-2,-1,0,1,2)诸值,噪声干扰vi以等概率取{-1,0,1)诸值,且E[svi]=0,E[vivj]=,试根据一次、二次、三次观测数据求参量s的线性最小均方估计。
解:根据给定的条件可得
均值:E(s)=(-2-1+0+1+2)/5=0
均方值:E(s^2)=[(-2)×(-2)+(-1)×(-1)+0×0+1×1+2×2]/5=2
方差:=E(s^2)=[(-2)×(-2)+(-1)×(-1)+0×0+1×1+2×2]/5=2
随着样本数的增多,估计的均方误差逐渐减小最终达到一个稳定的值。
参考视频与文献:
https://www.bilibili.com/video/BV1wS4y1D7ng?p=4&vd_source=77c874a500ef21df351103560dada737
现代信号处理(第三版)张贤达(编著)