统计信号处理基础 习题解答10-1

题目：

在本题中，我们将贝叶斯估计应用到确定性参数的估计问题。因为参数是确定的，我们将先验PDF指定为，其中是真值。在此先验PDF下求MMSE估计量，并解释你的结果。

解答：

由公式10-5的推导，我们可以得到θ的MMSE估计量是：

贝叶斯估计的最核心假设就是待估计参数θ是随机变量，上述公式的意义就是：使得贝叶斯MSE最小的估计量是随机变量θ在概率分布（也称为后验概率）上的期望（均值），其中是一组观测到的测试数据，或者也可以写为：

由贝叶斯定理，可以得到：

因此：

其中，是联合概率(joint)，和是条件概率，和是边缘概率。特别的，在贝叶斯估计中，称为后验概率（posterior），称为似然概率(likelihood)，为证据因子（evidence），为先验概率(prior)。

根据联合概率与边缘概率的关系：

因此，最终的后验概率为：

因此的MMSE可以改写为：

需要注意的是，中已经不包含，因此可以直接从上述积分中直接提出，得到：

再代入先验PDF，得到：

由δ函数的筛选性，即：

参考：

[数学物理]-δ函数 - 知乎

因此：

因此，在理想的先验PDF下，也就是θ为确定参数的情况下，参数 的MMSE估计量也是。

但是通过上述推导，我们发现没有找到一个映射函数，在获取先验知识和观测数据后，用于计算，因此在确定性参数条件下（），θ的MMSE估计量不是不是一个有效估计（a valid estimator）。

需要注意的是，这里的有效估计，不是指的估计的有效性（Efficiency）。