随机信号分析与处理4

参数信号估计

• 参量估计：
  最大似然估计(ML)
  最大后验概率估计(MAP)
  贝叶斯估计（最小平均风险估计）
  最小二乘估计(LS)
  线性最小均方误差估计
  线性递推估计
• 波形估计：
  线性最小均方误差估计
  维纳滤波器
  卡尔曼滤波器

1. 最大似然估计ML

   似然函数：$f(X/\theta )$表示$\theta$出现条件下，N个观测值的联合密度函数，是$\theta$的条件密度函数。

   单次观察时实测数据即为最大似然估计

   • 由于最大似然估计没有利用先验概率，其一般性能比利用先验信息的贝叶斯估计要差一些。
   • 对于绝大多数实用的最大似然估计，当观察数据足够多时，其性能是最优的。

2. 最大后验概率估计MAP

   • 当$f(X/\theta )$为均匀分布，即为常数时
     先验概率密度为均匀分布时，
     最大后验概率估计等价于最大似然估计。

3. 贝叶斯估计

   1. 代价因子和代价函数
      
      损失函数/代价函数：
      

      

      

      

   2. 平方误差代价函数下：
      

   3. 绝对误差代价函数下：
      

   4. 阱型误差代价函数下：
      

   5. 估计量的不变性
      

      

      

      

4. 估计量性质

   1. 无偏
      

      讨论估计量的均值问题

   2. 一致
      统计意义上的无偏性，不能保证具体一次测量就能保证无偏。
      只有估计量的方差尽可能小才能保证具体一次估计值更接近于其均值（无偏时均值即是真值）
      

      

      统计学证明（均值中心极限定理）：无论什么样的总体分布，其样本均值都是总体均值的一致无偏估计。

   3. 有效
      

      确定估计量的有效性

      • 直接法：可直接计算估计量的均值和方差，然后与其他估计的方差进行比较，来说明哪个估计更有效；
      • 间接法：先确定一个无偏估计量的方差下界，然后将实际估计的方差与此下界进行比较，从而确定该估计的有效性。
        这儿说的无偏估计量的方差下界为：克拉美一罗(Cramer一Rao)界

5. 最小二乘估计
   Bayes估计：需知后验密度函数和损失函数
   最大后验估计：需知后验密度函数（等效于的待估计量日先验密度函数和似然函数）
   最大似然估计：需知$\theta$的似然函数
   最小二乘估计：使误差平方和最小的估计（省去了全部概率假设，无需知道更多的统计知识）
   

6. 线性最小均方误差估计
   

   在线性最小均方误差条件下，估计误差与观测值正交，

7. 线性递推估计（减轻计算量，提高效率）