现代信号处理——参数估计理论（2）——估计子、贝叶斯估计、最大似然估计

本文链接：https://blog.csdn.net/weixin_41999529/article/details/90298645

导论

信号处理的基本任务是利用观测数据作出关于信号与（或）系统的某种统计决策。

统计决策理论主要解决两大类问题：假设检验与估计。
信号检测、雷达动目标检测是假设检验的经典问题；估计理论涉及的范围更广泛，它被分为非参数化和参数化。
参数化估计与系统模型的辨识密切相关，其主要理论是优化理论，即被估计的参数应在某种准侧下是最优的，以及如何获得最优的参数估计。
非参数化方法不假定数据服从某种特定的概率模型，例如基于离散傅里叶变换的功率谱估计和高阶谱估计等就是典型的非参数化方法。

现代谱估计本质上为参数化谱估计

自适应滤波器介绍的是时域或空域滤波器参数的自适应更新

高阶统计量理论的中心问题是基于高阶统计量的系统参数估计与高阶谱的参数化估计

时频信号分析——线性变换/非线性变换则讨论非平稳信号的参数化表示

一、估计子的性能

导入：

参数估计理论关心的问题是：假定随机变量x具有一累计分布函数，它是一特定概率分布集合中的一员，但并不知道它究竟是其中的哪一个。

实验：测量随机变量的各次实现（也称样本或观测值），并希望通过N各样本x1,x2,...xN猜出决定随机变量分布的参数值 $\theta$ 。例如：

令x1,x2,...xN是服从正态分布 $N\left ( \theta\cdot {\sigma ^ 2} \right )$ 得到的N个数据样本，现在根据这些样本值估计出均值参数 $\theta$ 。很显然，有很多的数据函数都可以用来估计 $\theta$ ，最简单的做法就是取第一个样本x1做 $\theta$ 的估计，虽然x1的期望值等于 $\theta$ ，但是很显然，使用更多的样本数据的平均得到的 $\theta$ 估计会比之使用x1作出的估计更好；我们会猜想：样本平均 $\overline{_{xN}}= \frac{1}{N} \sum_{N}^{i=1}{xi}$ 可能是 $\theta$ 的最优估计。

1、在参数估计理论中，通常把一个真实参数 $\theta$ 的估计方法或估计值称为 $\theta$ 的估计子。一个估计子是一个统计量，它在某种意义下“最接近”真实参数 $\theta$ 。

如何衡量或评价一个估计子与真实参数之间的“接近度”呢？又如何对它进行估计呢？这些问题形成了参数估计理论的两个核心内容：

（1）对估计子与真实参数的接近度进行量化定义

（2）研究不同的估计方法以及它们的性能比较

2、无偏估计与渐进无偏估计

估计子 ${\widehat{\theta }}$ 是用来近似参数 $\theta$ 的。因此希望它具有某种逼近的适合度。最简单的测度是估计子 ${\widehat{\theta }}$ 的误差 ${\widehat{\theta }}$ - $\theta$ 。

（1）无偏估计

参数 $\theta$ 的估计子的偏差定义为该估计子 ${\widehat{\theta }}$ 误差的期望值，即 $\small b\left ( \widehat{\theta } \right ) = E\left \{ \widehat{\theta }- \theta \right \} = E\left \{ \widehat{\theta } \right \}-\theta$ 。估计子