统计信号处理基础学习笔记（自用）前三章

• 估计理论概述

1. 估计问题的统计模型

从观测数据中提取有用的模型

观测=信号+观测设备的噪声+杂波+干扰

Z(t)=s(t,a幅度,f0频率,φ 相位,τ0 到达时间)+n(t)+c(t)+I(t)：后三项合计为w(t),最简单的形式，w(t)为高斯白噪声

参数估计问题：a幅度,f0频率,φ 相位,τ0 到达时间：未知常数用非贝叶斯估计，随机变量用贝叶斯估计（区别是对先验信息的利用，如果参数是随机变量，那么他们的概率密度已知，这就是先验信息，利用这个概率密度估计就是贝叶斯估计）

波形估计（滤波问题）：信号的形式未知

估计问题本质就是根据观测z(t)最佳的提取未知参数

对连续的观测信号离散化：z[n]=s[n]+w[n] n=0,1,……，N-1

三种典型信号：s[n]=>θ 未知常数估计

S[n]=>s(t-τ0 )如发射信号s(t)，返回信号为上式=s(n∆t-n0∆t )=s[n-n0]时延估计，估计n0：回波到达时间的延时量

S[n]=>acos[2pai(f0中心频率-fd多普勒频移)(n-n0信号到达时间)+φ 信号的起始相位]正弦信号的参数估计问题

估计就是根据一组观测数据最佳地求取未知参数

θ=g(z0,z1,……,zN-1) ：某一个函数

函数需满足一些准则：最大似然准则，最小二乘准则，最小均方准则，线性最小均方，最大后验概率

参数估计步骤：未知量θ ，通过对信号s多次测量，得到z=[z0 z1 ……Zn-1]T变换得到估计的函数

1. 估计的基本方法

例1高斯白噪声中未知常数估计

单次测量：z=θ +w(w为高斯白噪声，即服从N(0,σ2)

N次独立测量

θ 为未知常数或者随机变量，随机变量概率p(θ )已知

Z= θ  +w其中z也服从正态分布，与w方差一致         

对应高斯函数P(z; θ)=12πσexp⁡(-z-θ22σ2)    (1)

在观测z给定的情况下，此概率密度与θ 的函数关系（似然函数）也是一个高斯函数：z=z0时概率最大，所以可以把似然函数最大作为我们的参数概率估计

（1）最大似然估计：即使似然函数最大时作为我们的参数估计

θ=argmax pz;θ

单次观测，根据公式（1），θ =z

N次独立观测，计算最大似然函数时就应该计算观测的联合密度，N个概率密度连乘，并表示成θ 的函数（最后得到的估计为样本均值）

（2）最小二乘估计

取一个θ ，与观测值做差平方和，使长差和最小的θ 为最小二乘估计，极值问题，求导使导数为0得到

（3）最小均方估计-贝叶斯估计未知参数的概率已知

估计准则，均方误差最小

转化为积分计算，其中大括号内为条件均方误差，使条件均方误差，又是一个极值问题

（4）贝叶斯估计-最大后验概率估计

得到观测值z的概率密度的条件概率密度为后验概率密度，比先验概率密度更集中，取后验概率密度最大的θ 为估计值

 

（5）贝叶斯估计-条件中位数估计

对于上述条件概率密度，使负无穷到条件中位数的积分等于条件中位数到正无穷的积分此中位数为估计值

1. 估计量的性能评估

性能指标：真值，方差小，概率密度尖

无偏估计E

有效性，无偏方差越小越有效，但对于有偏估计，均方误差E{θ-θz]2 越小越有效

一致性：limN→∞PθN-θ<ε=1

切比雪夫不等式

小结：估计信号的统计模型一般为加性模型（信号加噪声），常用信号为恒定电平（常数）、时延信号、正弦信号等，常用噪声为高斯噪声

估计方法

性能评估

• CRLB下限

1 估计精度与似然函数关系

方差小的概率密度对θ 的依赖比较强弱即更尖锐

似然函数集成度越高即越尖锐，精度越高：尖锐度的度量-∂2p(z;θ)∂θ2 负的二阶导越大，越可能是好的估计（曲率）

2 CRLB定理

当概率密度满足正则条件（E∂lnp(z;θ)∂θ=0 对所有θ ）的情况下任意无偏估计的方差满足 .

证明： 上图中var(θ )>=后少了一个负号

等式成立条件：

1. 对正则条件的补充：

2)所以CRLB不成立的条件是概率密度非0的区间与被估计量有关，I(θ) 为Fisher信息，其越大，越有可能得到好的估计，因为var(θ )>=1I(θ)

3)估计方差达到CRLB的无偏估计称为有效估计，即等式成立的情况

即满足等式∂lnp(z;θ)∂θ=I(θ)(θ-θ)

3 高斯白噪声中的一般CRLB

xn=sn;θ+wn  s[n;θ] 是关于未知参数的函数

var≥σ2n=0N-1∂s[n;θ]∂θ2

信号对位置参数的变化率越大，估计的精度越好

书中例3.4运到到定理n=0N-1cos⁡(4πf0n+2φ)≪N

证明：

4 蒙特卡洛仿真

一种统计试验方法

例：假定fx=0.5-(0.5-x)2 试用蒙特卡洛仿真方法求01fxdx

M=10000;I=0;%蒙特卡洛仿真次数

Rand(‘state’,0);%0-1之间均衡分布的随机变量

For i=1:M

X=rand; y=rand;

If y<0.5-(0.5-x)^2

I=I+1;%仿真中有多少次落在指定区域中

End

End

Result=I/M%比值为积分值

蒙特卡洛仿真步骤

为处理的问题建立一个数学模型；重复实验；对实验结果进行统计分析

5 扩展到矩阵参数

P29-p33把求偏导扩展到矩阵即可

6变换参数的CRLB下限

var(α)≥(∂g∂θ)2-E[∂2lnpx;θ∂θ2]

Cα-∂g(θ)∂θI-1∂g(θ)T∂θ≥0

7 有效估计量的一致性

有效估计量线性变换还是有效估计量，非线性变换则不是

如E(z)=A

E(z2)=E2z+var(z)≠A2