题目:
在本题中,我们将贝叶斯估计应用到确定性参数的估计问题。因为参数是确定的,我们将先验PDF指定为,其中
是真值。在此先验PDF下求MMSE估计量,并解释你的结果。
解答:
由公式10-5的推导,我们可以得到θ的MMSE估计量是:
贝叶斯估计的最核心假设就是待估计参数θ是随机变量,上述公式的意义就是:使得贝叶斯MSE最小的估计量是随机变量θ在概率分布(也称为后验概率)上的期望(均值),其中
是一组观测到的测试数据,或者也可以写为:
由贝叶斯定理,可以得到:
因此:
其中,是联合概率(joint),
和
是条件概率,
和
是边缘概率。特别的,在贝叶斯估计中,
称为后验概率(posterior),
称为似然概率(likelihood),
为证据因子(evidence),
为先验概率(prior)。
根据联合概率与边缘概率的关系:
因此,最终的后验概率为:
因此的MMSE可以改写为:
需要注意的是,中已经不包含
,因此可以直接从上述积分中直接提出,得到:
再代入先验PDF,得到:
由δ函数的筛选性,即:
参考:
因此:
因此,在理想的先验PDF下,也就是θ为确定参数的情况下,参数
的MMSE估计量也是
。
但是通过上述推导,我们发现没有找到一个映射函数,在获取先验知识和观测数据后
,用于计算
,因此在确定性参数条件下(
),θ的MMSE估计量不是
不是一个有效估计(a valid estimator)。
需要注意的是,这里的有效估计,不是指的估计的有效性(Efficiency)。