经典参数估计的Cramer-Rao界

经典参数估计的Cramer-Rao界

无线通信系统中，常需根据观测量对未知参数进行估计，如信道估计问题。在参数估计问题中，包括参数空间（标量/向量，随机参数/非随机参数）、从参数空间到观测空间的概率映射、观测空间和估计规则。本文首先介绍标量参数估计，包括随机参数和非随机参数；接着，介绍如何度量估计误差以及估计误差的Cramer-Rao界（CRB）和贝叶斯CRB（BCRB）。

标量参数估计的概念

（标量）参数估计即根据观测量$\mathbf{r}$估计未知参数$a$。根据$a$是否是随机变量，可分为随机参数估计和非随机参数估计。下面首先介绍随随机参数估计。

随机参数

参数估计通常以最小化某一代价函数$C(a,\hat{a}(\mathbf{r}))$作为准则，其中$\hat{a}(\mathbf{r})$为对参数$a$的估计。由于代价函数通常用于度量$a$和$\hat{a}(\mathbf{r})$之间的差异，因此常常可表示为$C(a,\hat{a}(\mathbf{r}))=C(a-\hat{a}(\mathbf{r}))=C(a_{ϵ})$，其中$a_{ϵ}$为估计误差。常见的代价函数包括：均方误差$C(a_{ϵ})=a_{ϵ}^2$，绝对误差$C(a_{ϵ})=|a_{ϵ}|$和均匀代价函数$C(a_{ϵ})=\{\begin{array}{l}0,|a_{ϵ}|\le \frac{\Delta }{2}\\ 1,|a_{ϵ}|>\frac{\Delta }{2}\end{array}$。代价函数的选择，一方面应度量用户的满意程度，另一方面应具有较为简洁的形式以便于处理问题。

确定代价函数和先验概率后，风险可以表示为，
$$\mathcal{R}\triangleq \mathbb{E}\left[C(a,\hat{a}(\mathbf{r}))\right]={\int }_{-\infty }^{\infty }da{\int }_{-\infty }^{\infty }C(a,\hat{a}(\mathbf{r}))P_{a,\mathbf{r}}(a,\mathbf{r})d\mathbf{r},$$
即在随机变量$a$和观测变量$\mathbf{r}$上的平均代价。

当代价函数不同时，基于最小化风险的准则，可以根据观测$\mathbf{r}$得出对$a$的最佳估计。例如，均方误差准则下的风险可表示为，
R m s = ∫ − ∞ ∞ d a ∫ −