克拉美-罗下界（Cramer-Rao Lower Bound，CRLB）

1. 估计量的衡量标准

对于参数估计问题，目前存在着很多估计算法。那么如何去衡量一个估计器（estimator, 也称估计量或估计算法）的性能，我们主要考量以下三个方面

1. 无偏性(unbiased)。对于参数估计问题，设未知参数$\theta$，估计器模型$\hat{\theta }$。则有$\mathbb{E}[\hat{\theta }]=\theta$。对于估计对象为随机变量，则有$\mathbb{E}[\hat{\theta }]=\mathbb{E}[\theta ]$。我们称满足这个条件的估计量为无偏估计量。
2. 有效性(availability)。有效性刻画估计量到真实值的偏离程度，$D(\hat{\theta })=\mathbb{E}[(\hat{\theta }-\mathbb{E}[\hat{\theta }]{)}^2]$，即若存在多种无偏估计器，我们称估计量方差最小的估计器是有效的。
3. 一致性(consistency)。设$\hat{\theta }$为未知参数$\theta$的估计量，若当样本数$N\to \infty$时，对于任意$ϵ>0$，有$\underset{N\to \infty }{\lim }P\left\{|\hat{\theta }-\theta |<ϵ\right\}=1$。我们称$\hat{\theta }$与$\theta$是一致的。一致性所体现的是，当样本总数逐渐增加时，估计量逐渐收敛于真实值。

基于这三点考量，那么很自然我们会问，如何衡量一个无偏估计器是否是有效的。统计信号处理理论中的克拉美罗下界（Cramer-Rao Lower Bound，CRLB）就是衡量一个无偏估计器的有力工具。

2. 克拉美-罗下界（Scale Parameter 标量参数）

对于估计参数$\theta$为标量时，假定PDF满足**“正则”**条件
$$\mathbb{E}\left[\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right]=0(\text{for any }\theta )$$
其中数学期望对$p(\mathbf{x};\theta )$取。那么无偏估计量$\hat{\theta }$的方差必然满足
$$D(\hat{\theta })\ge \frac{1}{-\mathbb{E}\left[\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}\right]}=\frac{1}{\mathbb{E}\left[{\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^2\right]}$$
其中导数是在$\theta$的真实值处求，数学期望是对$p(\mathbf{x};\theta )$取。因此，我们可以说一个无偏估计量$g(\mathbf{x})$达到CRLB，当且仅当，该估计量满足
$$\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }=\mathbf{I}(\theta )(g(\mathbf{x})-\theta )$$
其中，$\mathbf{I}(\theta )=-\mathbb{E}\left[\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}\right]$，称为Fisher information。证明见附录A。

Remarks: CRLB是衡量一个无偏估计器是否有效的重要工具，也就是说，给定一个无偏估计器，我们可以利用克拉美-罗下界去判断这个估计器是否是最优的。

3. Example：线性高斯模型（Linear Gaussian model）

$$\mathbf{x}=\mathbf{h}\theta +\mathbf{w},\mathbf{w}\sim \mathcal{N}(0,{\mathbf{C}}_{\mathbf{w}})$$
其中$\theta$是未知参数，$\mathbf{x}\in {\mathbb{R}}^p$是观测值（observed signal），$\mathbf{w}$是均值为$0$，协方差矩阵为${\mathbf{C}}_{\mathbf{w}}$的高斯噪声。

我们考虑如下估计器
$$\hat{\theta }=({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{x}$$
对于该模型，其似然函数$p(\mathbf{x};\theta )$为
$$p(\mathbf{x};\theta )=\frac{1}{(2\pi {)}^{p/2}|{\mathbf{C}}_{\mathbf{w}}{|}^{1/2}}\exp \left[-\frac{1}{2}(\mathbf{x}-\mathbf{h}\theta {)}^T{\mathbf{C}}_{\mathbf{w}}^{-1}(\mathbf{x}-\mathbf{h}\theta )\right]$$
因此

1. 无偏性
   $$\mathbb{E}[\hat{\theta }]={\int }_{\mathbf{x}}\hat{\theta }p(\mathbf{x};\theta )\text{d}\mathbf{x}$$
   我们可以将$p(\mathbf{x};\theta )$看作为自变量为$\mathbf{x}$均值为$\mathbf{h}\theta$，协方差矩阵为${\mathbf{C}}_{\mathbf{w}}$的高斯PDF，即${\int }_{\mathbf{x}}\mathbf{x}p(\mathbf{x};\theta )\text{d}\mathbf{x}=\mathbf{h}\theta$。因此$\mathbb{E}[\hat{\theta }]=({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}\theta =\theta$，即$\hat{\theta }$为无偏估计量。

2. 有效性
   $$\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }=(\mathbf{x}-\mathbf{h}\theta {)}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}$$$$\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}=-{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}$$
   关于矩阵求导不太熟悉的朋友可以看下这个网站：https://en.wikipedia.org/wiki/Matrix_calculus。
   基于上述表述，该系统模型的CRLB为
   $$-\frac{1}{-\mathbb{E}\left[\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}\right]}=\frac{1}{{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}}$$
   而估计器$\hat{\theta }$的方差为
   $$D(\hat{\theta })=\left(({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\right){\mathbf{C}}_{\mathbf{w}}{\left(({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\right)}^T=({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}$$
   由于${\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}$是一维的，有$({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}=\frac{1}{{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}}$，因此，该估计量是有效的，即该无偏估计量$\theta$的方差可以达到CRLB。

3. 一致性
   将系统模型$\mathbf{x}=\mathbf{h}\theta +\mathbf{w}$代入估计器中，有
   $$\begin{gathered} \hat{\theta }=({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}(\mathbf{h}\theta +\mathbf{w}) \\ =\theta +({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{w} \end{gathered}$$
   若假设噪声能量一定，即${\mathbf{C}}_{\mathbf{w}}$元素值固定，随着观测样本$p\to \infty$，则噪声的方差
   $$D(({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{w})=\frac{1}{{\mathbf{h}}^T{\mathbf{c}}_{\mathbf{w}}^{-1}\mathbf{h}}$$
   从公式可以看出，假设噪声$\mathbf{w}$的每个元素具有相同的方差，则必然$\underset{p\to \infty }{\lim }{\mathbf{h}}^T{\mathbf{c}}_{\mathbf{w}}^{-1}\mathbf{h}\to \infty$。因此，当$p\to \infty$时，我们可以将估计量$\hat{\theta }$看作
   $$\hat{\theta }=\theta +n,n\sim \mathcal{N}(0,({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1})\text{and}\underset{p\to \infty }{\lim }{\mathbf{h}}^T{\mathbf{c}}_{\mathbf{w}}^{-1}\mathbf{h}\to \infty$$
   因此，对于任意$ϵ>0$，有
   $$\underset{N\to \infty }{\lim }P\left\{|\hat{\theta }-\theta |<ϵ\right\}=1$$
   即，该估计量满足一致性。

4. CRLB证明

由于$\hat{\theta }$是无偏估计，即
$${\int }_{\mathbf{x}}(\hat{\theta }-\theta )p(\mathbf{x};\theta )\text{d}\mathbf{x}=0\Rightarrow \int \hat{\theta }p(\mathbf{x};\theta )\text{d}\mathbf{x}=\theta$$
注意，估计器$\hat{\theta }$是关于观测量$\mathbf{x}$的函数。上式等式两边对$\theta$求偏导有
$$\begin{gathered} \int \hat{\theta }\frac{\partial p(\mathbf{x};\theta )}{\partial \theta }\text{d}x=1 \\ \Rightarrow \int \hat{\theta }\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }p(\mathbf{x};\theta )\text{d}x=1---(\ast 1) \end{gathered}$$
由正则条件$\mathbb{E}\left[\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right]=0$，即
$$\int \frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }p(\mathbf{x};\theta )\text{d}\mathbf{x}=0$$
有
$$\begin{gathered} \theta \int \frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }p(\mathbf{x};\theta )\text{d}\mathbf{x}=0 \\ \Rightarrow \int \theta \frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }p(\mathbf{x};\theta )\text{d}\mathbf{x}=0---(\ast 2) \end{gathered}$$
合并（*1）与（*2）,有
$$\begin{gathered} \int (\hat{\theta }-\theta )\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }p(\mathbf{x};\theta )\text{d}\mathbf{x}=1 \\ \Rightarrow \int (\hat{\theta }-\theta )\sqrt{p(\mathbf{x};\theta )}\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\sqrt{p(\mathbf{x};\theta )}\text{d}\mathbf{x}=1 \end{gathered}$$
由于柯西-施瓦茨不等式
$$\int f^2(x)\text{d}x\int g^2(x)\text{d}x\ge {\left(\int f(x)g(x)\text{d}x\right)}^2$$
当且仅当$f(x)=g(x)$时，取等号。

根据柯西-施瓦茨不等式（Cauchy-Schwarz inequality），有
$$\begin{gathered} \left(\int (\hat{\theta }-\theta {)}^{2}p(\mathbf{x};\theta )\text{d}\mathbf{x}\right)\left(\int {\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^{2}p(\mathbf{x};\theta )\text{d}\mathbf{x}\right)\ge 1 \\ \Rightarrow \int (\hat{\theta }-\theta {)}^{2}p(\mathbf{x};\theta )\text{d}\mathbf{x}\ge \frac{1}{\left(\int {\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^{2}p(\mathbf{x};\theta )\text{d}\mathbf{x}\right)} \end{gathered}$$
即
$$D(\hat{\theta })\ge \frac{1}{\mathbb{E}\left[{\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^2\right]}$$
现在只需证明
$$\mathbb{E}\left[{\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^2\right]=-\mathbb{E}\left[\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}\right]$$
证：由正则条件$\mathbb{E}\left[\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right]=0$，等式两边对$\theta$求偏导，有
$$\begin{gathered} \frac{\partial }{\partial \theta }\int \frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }p(\mathbf{x};\theta )\text{d}\mathbf{x}=0 \\ \Rightarrow \int \left[\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}p(\mathbf{x};\theta )+\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\frac{\partial p(\mathbf{x};\theta )}{\partial \theta }\right]\text{d}\mathbf{x}=0 \\ \Rightarrow \int \frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}p(\mathbf{x};\theta )\text{d}\mathbf{x}=-\int {\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^{2}p(\mathbf{x};\theta )\text{d}\mathbf{x} \end{gathered}$$

现在证明，若估计量$\hat{\theta }=\text{g}(\mathbf{x})$可以达到CRLB，则有
$$\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }=\mathbf{I}(\theta )(g(\mathbf{x})-\theta )$$
其中，$\mathbf{I}(\theta )=-\mathbb{E}\left[\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}\right]$。

证：等式两边同时对$\theta$求偏导，有
$$\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}=\frac{\partial \mathbf{I}(\theta )}{\partial \theta }(g(\mathbf{x})-\theta )-\mathbf{I}(\theta )$$
等式两边同时对乘上$p(\mathbf{x};\theta )$，并对$\mathbf{x}$积分，得
$$\mathbb{E}\left[\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}\right]=-\mathbf{I}(\theta )$$
证毕。