2021-09-22

LS（最小二乘）估计和MMSE（最小均方误差法）估计

• 记录一些CSDN里的比较干的内容：

更具体的说，如果观测到的含噪结果Y是待估计参数X的一个函数：F(X)=Y。MMSE准则是基于最小化E{(X’-X)^H*(X’-X)}来计算估计值X’的；而least squares是选择X’而令Y-F(X’)的二乘和最小。
所以我们看到，这里考虑误差的对象是完全不一样的（且不论误差定义的不同）：MMSE考虑的是estimator的误差，而LS考虑的是观测量的误差。在这样的情况下，MMSE估计必须要知道条件概率P(X|Y)，通常情况下即X和噪声的分布。而LS估计因为只着眼于观测量，则完全没有这样的限制。这里我们看到，如果讨论estimator是否最优，必须考虑到各estimator所具有的先验信息（MMSE要求知道函数F的形式，以及X和噪声分布；LS仅要求知道函数F）。
考虑一个最简单的Y=AX+V模型在LMMSE准则和LS准则下的估计，这里V是零均值高斯白噪声（因此LMMSE和MMSE等价）。此时，LMMSE给出X’=inv[inv(R_x)+(A^{H)*inv(R_v)*A]*(A}H)*inv(R_v)*Y；而LS给出X’=inv[(A^H)*A]*(AH)*Y。显然仅在噪声的谱密度趋近为零的时候，两个estimator才可能等价（即此时噪声的信息已经无关紧要了）。

Y=AX+V

这里A、Y已知，要求X，估计的X为X’

// LS
X'=inv[(A^H)*A]*(A^H)*Y

// LMMSE
X'=inv[inv(R_x)+(A^H)*inv(R_v)*A]*(A^H)*inv(R_v)*Y

链接–LS信道估计和MMSE信道估计部分公式推导