【基带】线性最小二乘估计（LS）及其几何理解

一、系统模型

线性最小二乘估计的线性模型为

其中，Y为系统输出数据，H为系统传递函数，X为系统输入，W为高斯白噪声。

二、线性LS原理推导

线性LS的代价函数如下

则通过使上述代价函数最小可得输入信号估计，即

令代价函数关于的偏导数等于0，可得

则有

三、LS最小误差与X均方误差

线性LS估计输出数据的最小LS误差如下

其中，为对称幂等矩阵，也为对称幂等矩阵。

被估计参数X的均方误差为

由此可知，LS方法对被估计参数，可能存在噪声放大的可能。

四、线性LS几何解释

图1 线性LS几何解释

如图1所示，系统输出数据矢量Y在N维空间中任意位置，但是真实可能的信号矢量位于的一个k维子空间中，其由H的k个列向量张成，即，误差矢量

在正交于信号子空间的子空间中，其由矢量张成，即，且有。图1中,也可看做为基为，系数为中元素的线性组合。