线性高斯模型的估计方法

个人博客：www.qiuyun-blog.cn

---

系统模型

对于线性高斯模型
$$\mathbf{y}=\mathbf{H}\mathbf{x}+\mathbf{w}$$其中$\mathbf{x}\in {\mathbb{R}}^N$为待估计变量，其概率密度为$p(\mathbf{x})$。$\mathbf{w}$是高斯白噪声，即$\mathbf{w}\sim \mathcal{N}(\mathbf{w}|\mathbf{a},{\mathbf{C}}_{\mathbf{w}})$。信号估计的目标是根据已知的模型信息，从观测向量$\mathbf{y}\in {\mathbb{R}}^M$中恢复出原始信号$\mathbf{x}$。为了得到确定解，一般$\mathbf{y}$的维度大于$\mathbf{x}$的维度，即模型为超定方程组。

最小二乘法 （Least Square, LS）

$\mathbf{x}$的最小二乘估计，通过最小化如下损失函数得到
$$J=||\mathbf{y}-\mathbf{H}\mathbf{x}|{|}^2$$由于该损失函数是凸函数，因此我们通过计算损失函数对$\mathbf{x}$的导数
$$\frac{\partial J}{\partial \mathbf{x}}=-2{\mathbf{H}}^T\mathbf{y}+2{\mathbf{H}}^T\mathbf{H}\mathbf{x}$$并令导数为零，得到该模型的最小二乘估计
$${\hat{\mathbf{x}}}_{\text{LS}}=({\mathbf{H}}^T\mathbf{H}{)}^{-1}{\mathbf{H}}^T\mathbf{y}$$

几何解释: 如图所示，由于$\mathbf{H}$所构成的超平面用$\mathcal{C}$表示，最小化$J=||\mathbf{y}-\mathbf{H}\mathbf{x}|{|}^2$所描述的是，找到$\mathbf{y}$在超平面$\mathcal{C}$上的正交投影。

Remarks:

最小二乘的优势在于算法结构简单，其缺陷在于，由于忽略了噪声的存在，因此当噪声很大的时候，其估计性能极差。

最大似然估计（Maximum likelihood, ML）

似然函数的定义（摘自Wiki Pedia）：

In frequentist inference, a likelihood function (often simply the likelihood) is a function of the parameters of a statistical model, given specific observed data. Likelihood functions play a key role in frequentist inference, especially methods of estimating a parameter from a set of statistics. In informal contexts, “likelihood” is often used as a synonym for “probability”. In mathematical statistics, the two terms have different meanings. Probability in this mathematical context describes the plausibility of a random outcome, given a model parameter value, without reference to any observed data. Likelihood describes the plausibility of a model parameter value, given specific observed data.
在概率推论中，一个似然函数（简称似然）是给定明确的观测数据，关于一个统计模型的参数的函数。似然函数在概率推论中扮演着重要的角色，尤其是从一组统计数据中估计参数。在非正式的文献中，似然函数通常被认为是“概率”。在统计数学中，这两者有不同的含义。在数学文献中，概率描述的是给定模型参数值下一个随机输出的可能性，没有参考任何观测数据。似然函数描述的是给定具体观测数据，模型参数值得可能性。
Following Bayes’ Rule, the likelihood when seen as a conditional density can be multiplied by the prior probability density of the parameter and then normalized, to give a posterior probability density.
根据贝叶斯公式，似然函数被看作是条件概率，可以乘上先验概率然后归一化得到后验概率。

对于线性高斯模型$\mathbf{y}=\mathbf{H}\mathbf{x}+\mathbf{w}$，为了方便计算，这里我们设$\mathbf{w}\sim \mathcal{N}(0,{\sigma }^2\mathbf{I})$，则该模型的其似然函数为
$$\begin{gathered} L(\mathbf{x})=p(\mathbf{y}|\mathbf{x})=\mathcal{N}(\mathbf{y}|\mathbf{H}\mathbf{x},{\sigma }^2\mathbf{I}) \\ =(2\pi {\sigma }^2{)}^{-\frac{M}{2}}\exp \left(-\frac{1}{2{\sigma }^2}(\mathbf{y}-\mathbf{H}\mathbf{x}{)}^T(\mathbf{y}-\mathbf{H}\mathbf{x})\right) \end{gathered}$$等式两边取对数，有
$$\ell (\mathbf{x})=\ln L(\mathbf{x})=-\frac{1}{2{\sigma }^2}(\mathbf{y}-\mathbf{H}\mathbf{x}{)}^T(\mathbf{y}-\mathbf{H}\mathbf{x})-\frac{M}{2}\ln (2\pi {\sigma }^2)$$ 计算对数似然函数关于$\mathbf{x}$的偏导数，有
$$\frac{\partial \ell (\mathbf{x})}{\partial \mathbf{x}}=-\frac{1}{2{\sigma }^2}(2{\mathbf{H}}^T\mathbf{y}-2{\mathbf{H}}^T\mathbf{H}\mathbf{x})=0\Rightarrow {\hat{\mathbf{x}}}_{\text{ML}}=({\mathbf{H}}^T\mathbf{H}{)}^{-1}{\mathbf{H}}^T\mathbf{y}$$ 因此，我们发现，线性高斯模型的最大似然解和最小二乘解一致。

最小均方误差估计（Minimum mean square error, MMSE）

定义如下贝叶斯均方误差（Bayesian mean square error, Bmse）
$$\text{Bmse}(\hat{\mathbf{x}})=\mathbb{E}\left\{||\mathbf{x}-\hat{\mathbf{x}}|{|}^2\right\}=\int ||\mathbf{x}-\hat{\mathbf{x}}|{|}^{2}p(\mathbf{x},\mathbf{y})\text{d}\mathbf{x}\text{d}\mathbf{y}$$ 最小均方误差估计量，即寻找使得贝叶斯均方误差最小的$\mathbf{x}$
    x ^ = arg ⁡ min ⁡ x ∫ [ ∫ ∣ ∣ x − x ^ ∣ ∣ 2 p ( x ∣ y ) d x ] p ( y ) d y