信号与估计

CRLB的推导

1. 估计量的衡量标准

对于参数估计问题，目前存在着很多估计算法。那么如何去衡量一个估计器（estimator, 也称估计量或估计算法）的性能，我们主要考量以下三个方面

• 1.无偏性(unbiased)。对于参数估计问题，设未知参数θ，估计器模型$\hat{\theta }$。则有$E[\hat{\theta }]=\theta$。对于估计对象为随机变量，则有$E[\hat{\theta }]=E[\theta ]$。我们称满足这个条件的估计量为无偏估计量。
• 2.有效性(availability)。有效性刻画估计量到真实值的偏离程度，$D(\hat{\theta })=E[(\hat{\theta }-E[\theta ])2]$，即若存在多种无偏估计器，我们称估计量方差最小的估计器是有效的。
• 3.一致性(consistency)。设$\hat{\theta }$为未知参数θ的估计量，若当样本数$N\to \infty$时，对于任意ϵ>0，有$li{m}_{N\to \infty }P|\hat{\theta }-\theta |<ϵ=1$。我们称θ^与θ是一致的。一致性所体现的是，当样本总数逐渐增加时，估计量逐渐收敛于真实值。

基于这三点考量，那么很自然我们会问，如何衡量一个无偏估计器是否是有效的。统计信号处理理论中的克拉美罗下界（Cramer-Rao Lower Bound，CRLB）就是衡量一个无偏估计器的有力工具。

2. 克拉美-罗下界（Scale Parameter 标量参数）

两个正则化条件

边界依赖两个关于f(x;θ)和T(X)的弱正则化条件：Fisher信息矩阵总是存在。等价地说，对于所有x，如果$f(x;\theta )>0$，则$\partial lnf(x;\theta )/\partial \theta$存在并且有限。对x的积分和对θ的微分可以交换顺序。也就是说，在下式右侧有限时，有
$$\frac{\partial }{\partial \theta }[\int T(x)f(x;\theta )dx]=\int T(x)[\frac{\partial }{\partial \theta }f(x;\theta )]dx$$
上述条件通常可以通过以下任意一个条件来确认：函数f(x;θ)在x中有边界支持，并且边界不依赖于θ。函数f(x;θ)有有限的支持，连续可微，并且对于所有θ积分收敛。

其中数学期望对$p(x;\theta )$取。那么无偏估计量$\hat{\theta }$的方差必然满足
$$D(\hat{\theta })\ge \frac{1}{-\mathbb{E}\left[\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}\right]}=\frac{1}{\mathbb{E}\left[{\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^2\right]}$$
其中导数是在θ的真实值处求，数学期望是对$p(x;\theta )$取。因此，我们可以说一个无偏估计量$g(x)$达到CRLB，当且仅当，该估计量满足
$$\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }=\mathbf{I}(\theta )(g(\mathbf{x})-\theta )$$
其中
$$\mathbf{I}(\theta )=-\mathbb{E}\left[\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}\right]$$
称为Fisher information。

3. 克拉美罗下界 推导证明

由于θ是无偏估计，即

$${\int }_{\mathbf{x}}(\hat{\theta }-\theta )p(\mathbf{x};\theta )\text{d}\mathbf{x}=0$$
等式两边对θ求偏导有
$$\begin{gathered} \int (\hat{\theta }-\theta )\frac{\partial p(\mathbf{x};\theta )}{\partial \theta }\text{d}\mathbf{x}=1 \\ \Rightarrow \int (\hat{\theta }-\theta )\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }p(\mathbf{x};\theta )\text{d}\mathbf{x}=1 \\ \Rightarrow \int (\hat{\theta }-\theta )\sqrt{p(\mathbf{x};\theta )}\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\sqrt{p(\mathbf{x};\theta )}\text{d}\mathbf{x}=1 \end{gathered}$$
根据柯西-施瓦茨不等式（Cauchy-Schwarz inequality），有
$$\begin{gathered} \left(\int (\hat{\theta }-\theta {)}^{2}p(\mathbf{x};\theta )\text{d}\mathbf{x}\right)\left(\int {\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^{2}p(\mathbf{x};\theta )\text{d}\mathbf{x}\right)\ge 1 \\ \Rightarrow \int (\hat{\theta }-\theta {)}^{2}p(\mathbf{x};\theta )\text{d}\mathbf{x}\ge \frac{1}{\left(\int {\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^{2}p(\mathbf{x};\theta )\text{d}\mathbf{x}\right)} \end{gathered}$$
由正则条件,可知$\mathbb{E}\left[\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right]=0$,对其求导有：
$$\begin{gathered} \frac{\partial }{\partial \theta }\int \frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }p(\mathbf{x};\theta )\text{d}\mathbf{x}=0 \\ \Rightarrow \int \left[\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}p(\mathbf{x};\theta )+\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\frac{\partial p(\mathbf{x};\theta )}{\partial \theta }\right]\text{d}\mathbf{x}=0 \\ \Rightarrow \int \frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}p(\mathbf{x};\theta )\text{d}\mathbf{x}=-\int {\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^{2}p(\mathbf{x};\theta )\text{d}\mathbf{x} \end{gathered}$$
所以有如下的结论：
$$D(\hat{\theta })\ge \frac{1}{\mathbb{E}\left[{\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^2\right]}$$
柯西-施瓦茨不等式在积分条件下成立的前提是

$$(\hat{\theta }-\theta {)}^{2}p(\mathbf{x};\theta )={\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^{2}p(\mathbf{x};\theta )K(\theta )$$
由于在CRLB边界处
$$\left(\int (\hat{\theta }-\theta {)}^{2}p(\mathbf{x};\theta )\text{d}\mathbf{x}\right)\left(\int {\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^{2}p(\mathbf{x};\theta )\text{d}\mathbf{x}\right)=1$$
对14式进行积分我们可以得到
$$\begin{gathered} \int (\hat{\theta }-\theta {)}^{2}p(\mathbf{x};\theta )dx=\int {\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^{2}p(\mathbf{x};\theta )K(\theta )dx \\ \int (\hat{\theta }-\theta {)}^{2}p(\mathbf{x};\theta )dx=K(\theta )\int {\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^{2}p(\mathbf{x};\theta )dx \\ K(\theta )=(\frac{1}{\int {\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^{2}p(\mathbf{x};\theta )dx}{)}^2 \end{gathered}$$
对比2式与18式我们证明
$$\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }=-\mathbb{E}\left[\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}\right](g(\mathbf{x})-\theta )$$

设计最优线性估计器

最优估计器的设计准则
1.选择滤波器的结构
2.选择损失函数
3.根据损失函数求解参数
4.对求解的结果进行判断，看是否满足需求

对于线性高斯模型，其模型可以写为

$\mathbf{x}=\mathbf{h}\theta +\mathbf{w},\mathbf{w}\sim \mathcal{N}(\mathbf{w}|\mathbf{a},{\mathbf{C}}_{\mathbf{w}})$
其中$\theta$是未知参数，$x\in R_p$是观测值，$w$是均值为0，协方差矩阵为$C_w$的高斯噪声。
对于该模型，其似然函数$p(x;\theta )$为 ：
$$p(\mathbf{x};\theta )=\frac{1}{(2\pi {)}^{p/2}|{\mathbf{C}}_{\mathbf{w}}{|}^{1/2}}\exp \left[-\frac{1}{2}(\mathbf{x}-\mathbf{h}\theta {)}^T{\mathbf{C}}_{\mathbf{w}}^{-1}(\mathbf{x}-\mathbf{h}\theta )\right]$$
采用极大释然估计或者线性最小均方误差估计下面给出最大似然估计的推导过程
等式两边取对数，有
$$\ell (\theta )=lnL(\theta )=-\frac{1}{2}(x-h\theta {)}^T{C}_w^{-1}(x-h\theta )+C$$
计算对数似然函数关于x的偏导数，有
$$\begin{gathered} \frac{\partial x}{\partial \ell (x)}=-\frac{1}{2}(2h^T{C}_w^{-1}x-2h^T{C}_w^{-1}H\theta )=0 \\ \Rightarrow {\theta }^{ML}=(h^T{C}_w^{-1}h)h^T{C}_w^{-1}\mathbf{x} \end{gathered}$$
1.无偏性
$$\mathbb{E}[\hat{\theta }]={\int }_{\mathbf{x}}\hat{\theta }p(\mathbf{x};\theta )\text{d}\mathbf{x}=({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}\theta =\theta$$

2.有效性
$$\begin{gathered} \frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }=(\mathbf{x}-\mathbf{h}\theta {)}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h} \\ \frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}=-{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h} \end{gathered}$$
基于上述表述，该系统模型的CRLB为
$$-\frac{1}{-\mathbb{E}\left[\frac{{\partial }^2\ln p(\mathbf{x};\theta )}{\partial {\theta }^2}\right]}=\frac{1}{{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}}$$
而估计器$\hat{\theta }$的方差为
$$\begin{gathered} D(\hat{\theta })=\left(({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\right){\mathbf{C}}_{\mathbf{w}}{\left(({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\right)}^T \\ =({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1} \end{gathered}$$
由于$({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}=\frac{1}{{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}}$,因此，该估计量是有效的，即该无偏估计量θ的方差可以达到CRLB。
3.一致性
将系统模型x=hθ+w代入估计器中，有
$$\begin{gathered} \hat{\theta }=({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}(\mathbf{h}\theta +\mathbf{w}) \\ =\theta +({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{w} \end{gathered}$$
若假设噪声能量一定，即$C_w$元素值固定，随着观测样本$p\to \infty$，则噪声的方差
$$D(({\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{h}{)}^{-1}{\mathbf{h}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{w})=\frac{1}{{\mathbf{h}}^T{\mathbf{c}}_{\mathbf{w}}^{-1}\mathbf{h}}$$
从公式可以看出，假设噪声$w$的每个元素具有相同的方差，则必然$li{m}_{p\to \infty }{h}^T{C}_w^{-1}h\to \infty$。因此，当$p\to \infty$时,因此，对于任意$ϵ>0$，有
$$\underset{N\to \infty }{\lim }P\left\{|\hat{\theta }-\theta |<ϵ\right\}=1$$
即，该估计量满足一致性。
综上所述：得到的估计器为：$\theta =(h^T{C}_w^{-1}h)h^T{C}_w^{-1}\mathbf{x}$

用最大似然估计或最小二乘估计解决实际问题

如cs229第一章房价预测数据集，通过某些已知因素去拟合房价，运用最小二乘法求解

那么损失函数写为如下，
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
其中$h_{\theta }(x)={\sum }_{i=0}^n{\theta }_i{x}_i={\theta }^{T}x$
将其写为矩阵形式有
$$\begin{gathered} X^T\theta -\vec{y}=\left[\begin{array}{c}(x^{(1)}{)}^T\theta \\ ⋮\\ (x^{(m)}{)}^T\theta \end{array}\right]-\left[\begin{array}{c}{y}^{(1)}\\ ⋮\\ y^{(m)}\end{array}\right] \\ =\left[\begin{array}{c}(x^{(1)}{)}^T\theta -y^{(1)}\\ ⋮\\ (x^{(m)}{)}^T\theta -y^{(m)}\end{array}\right] \end{gathered}$$
那么$J(\theta )$可以写为如下的矩阵形式：
$$\frac{1}{2}(X\theta -\vec{y}{)}^T(X\theta -\vec{y})=\frac{1}{2}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2=J(\theta )$$
其形式与第二步相似，我们可以得出如下解的形式：
$$X^{T}X\theta =X^T\vec{y}⟹\theta =(X^{T}X{)}^{-1}{X}^T\vec{y}\text{\hspace{1em}(39)}$$