克拉美-罗下界（Cramer-Rao Lower Bound，CRLB）

1. 估计量的衡量标准

对于参数估计问题，目前存在着很多估计算法。那么如何去衡量一个估计器（estimator, 也称估计量或估计算法）的性能，我们主要考量以下三个方面

1. 无偏性(unbiased)。对于参数估计问题，设未知参数$\theta$，估计器模型$\hat{\theta }$。则有$\mathbb{E}[\hat{\theta }]=\theta$。对于估计对象为随机变量，则有$\mathbb{E}[\hat{\theta }]=\mathbb{E}[\theta ]$。我们称满足这个条件的估计量为无偏估计量。
2. 有效性(availability)。有效性刻画估计量到真实值的偏离程度，$D(\hat{\theta })=\mathbb{E}[(\hat{\theta }-\mathbb{E}[\hat{\theta }]{)}^2]$，即若存在多种无偏估计器，我们称估计量方差最小的估计器是有效的。
3. 一致性(consistency)。设$\hat{\theta }$为未知参数$\theta$的估计量，若当样本数$N\to \infty$时，对于任意$ϵ>0$，有$\underset{N\to \infty }{\lim }P\left\{|\hat{\theta }-\theta |<ϵ\right\}=1$。我们称$\hat{\theta }$与$\theta$是一致的。一致性所体现的是，当样本总数逐渐增加时，估计量逐渐收敛于真实值。

基于这三点考量，那么很自然我们会问，如何衡量一个无偏估计器是否是有效的。统计信号处理理论中的克拉美罗下界（Cramer-Rao Lower Bound，CRLB）就是衡量一个无偏估计器的有力工具。

2. 克拉美-罗下界（Scale Parameter 标量参数）

对于估计参数$\theta$为标量时，假定PDF满足**“正则”**条件
$$\mathbb{E}\left[\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right]=0(\text{for any }\theta )$$
其中数学期望对$p(\mathbf{x};\theta )$取。那么无偏估计量$\hat{\theta }$的方差必然满足
$$D(\hat{\theta })\ge \frac{1}{-\mathbb{E}\left[\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}\right]}=\frac{1}{\mathbb{E}\left[{\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^2\right]}$$
其中导数是在$\theta$的真实值处求，数学期望是对$p(\mathbf{x};\theta )$取。因此，我们可以说一个无偏估计量$g(\mathbf{x})$达到CRLB，当且仅当，该估计量满足
$$\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }=\mathbf{I}(\theta )(g(\mathbf{x})-\theta )$$
其中，$\mathbf{I}(\theta )=-\mathbb{E}\left[\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}\right]$，称为Fisher information。证明见附录A。

Remarks: CRLB是衡量一个无偏估计器是否有效的重要工具，也就是说，给定一个无偏估计器，我们可以利用克拉美-罗下界去判断这个估计器是否是最优的。

3. Example：线性高斯模型（Linear Gaussian model）

$$\mathbf{x}=\mathbf{h}\theta +\mathbf{w},\mathbf{w}\sim \mathcal{N}(0,{\mathbf{C}}_{\mathbf{w}})$$
其中$\theta$是未知参数，$\mathbf{x}\in {\mathbb{R}}^p$是观测值（observed signal），$\mathbf{w}$是均值为$0$，协方差矩阵为${\mathbf{C}}_{\mathbf{w}}$的高斯噪声。

我们考虑如下估计器
$$\hat{\theta }=({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{x}$$
对于该模型，其似然函数$p(\mathbf{x};\theta )$为
p ( x ; θ ) = 1 ( 2 π ) p / 2 ∣ C w ∣ 1 / 2 exp ⁡ [ − 1 2 ( x − h θ ) T C w − 1 ( x − h θ ) ] p(\boldsymbol{x};\theta)=\frac{1}{(2\pi)^{p/2}|\boldsymbol{C}_{\boldsymbol{w}}|^{1/2}} \exp \left[{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{h}\theta)^T\boldsymbol{C}_{\boldsymbol{w}}^{-1}(\boldsymbol{x}-\boldsymbol{h}\theta)}\right] p(x;θ)=