本节内容摘自Steven M. Kay,《Fundamentals of Statistical Signal Processing: Estimation Theory》。
我们来个例子,如何用完备统计量找到MVU估计。
【例5.8】均匀噪声的均值
- 问题描述
我们有数据
x [ n ] = w [ n ] , n = 0 , 1 , … , N − 1 (1) \tag{1} x[n]=w[n],\quad n=0,1,\ldots,N-1 x[n]=w[n],n=0,1,…,N−1(1)这里 w [ n ] ∼ U ( 0 , β ) w[n]\sim {\mathcal U}(0,\beta) w[n]∼U(0,β), β > 0 \beta>0 β>0。我们希望能够得到均值 θ = β / 2 \theta=\beta/2 θ=β/2的MVU估计。 - CRLB为何不适用?
从【定理3.1】我们知道,要使用CRLB,需要概率密度函数满足正则条件
E [ ∂ ln p ( x ; θ ) ∂ θ ] = 0. (2) \tag{2} {\rm E}\left[\frac{\partial \ln p({\bf x};\theta)}{\partial \theta}\right]=0. E[∂θ∂lnp(x;θ)]=0.(2)现在我们来证明,对于均匀分布噪声均值来说,正则条件(2)不满足。
下面我们来看看习题3.1。
顺便说一句,这本书的答案可见(https://download.csdn.net/download/qianlongchen/9433628?utm_source=iteye)。虽然是手写不太清楚,而且VIP才能下载,不过还是很解决问题啦。
【Problem 3.1】如果 x [ n ] ∼ U ( 0 , θ ) x[n]\sim {\mathcal U}(0,\theta) x[n]∼U(0,θ), n = 0 , 1 , … , N − 1 n=0,1,\ldots,N-1 n=0,1,…,N−1。试说明正则条件
E [ ∂ ln p ( x ; θ ) ∂ θ ] = 0 {\rm E}\left[\frac{\partial \ln p({\bf x};\theta)}{\partial \theta}\right]=0 E[∂θ∂lnp(x;θ)]=0不成立,因而CRLB不适用。
【解答】
p ( x [ n ] ; θ ) = 1 θ ( u ( x [ n ] ) − u ( x [ n ] − θ ) ) p(x[n];\theta)=\frac{1}{\theta}\left(u(x[n])-u(x[n]-\theta) \right) p(x[n];θ)=θ1(u(x[n])−u(x[n]−θ))这里的 u ( x ) u(x) u(x)为阶跃函数。因此,我们可以得到
p ( x ; θ ) = ∏ n = 0 N − 1 p ( x [ n ] ; θ ) , p({\bf x};\theta)=\prod_{n=0}^{N-1}p(x[n];\theta), p(x;θ)=n=0∏N−1p(x[n];θ),显然,如果我们能够证明
E [ ∂ ln p ( x ; θ ) ∂ θ ] ≠ 0 , f o r n = 0 , … , N − 1 {\rm E}\left[\frac{\partial \ln p({\bf x};\theta)}{\partial \theta}\right]\ne 0,{\rm \ for \ }n=0,\ldots,N-1 E[∂θ∂lnp(x;θ)]=0, for n=0,…,N−1则获证。我们令 y = x [ n ] y=x[n] y=x[n],有
p ( y ; θ ) = 1 θ ( u ( y ) − u ( y − θ ) ) , p(y;\theta)=\frac{1}{\theta}\left(u(y)-u(y-\theta) \right), p(y;θ)=θ1(u(y)−u(y−θ)),则可以得到 p ( y ; θ p(y;\theta p(y;θ的图像如下图所示。看图的时候,可以考虑 y y y是固定值。显然应该有 y = x [ n ] > 0 y=x[n]>0 y=x[n]>0。这时,如果 θ < y \theta<y θ<y,函数值为0; θ > y \theta>y θ>y,则有函数值为 1 / θ 1/\theta 1/θ。因此,有
E [ ∂ ln p ( y ; θ ) ∂ θ