古典最小二乘估计，加权最小二乘估计，递归最小二乘估计以及卡尔曼滤波

古典最小二乘估计，加权最小二乘估计，递归最小二乘估计以及卡尔曼滤波

古典最小二乘估计，以测量误差的平方和作为损失函数。
根据高斯-马尔可夫定理，古典最小二乘估计在线性测量系统中，在测量噪声为零均值，同方差和独立的情况下，是最佳线性无偏估计（Best linear unbias estimator - BLUE），其中最佳指的是最小二乘估计值的方差与其他估计的方差相比最小。

而加权最小二乘估计，就是在损失函数中加上权重W，用于量化不同测量对于结果的影响程度。
当测量噪音不为同方差时，古典最小二乘法则不为BLUE，因为估计方差并不是最小了。而当W为R(测量噪音协方差矩阵)的逆时，解决了这个问题，加权最小二乘估计变成了BLUE。

而递归最小二乘法即解决了加权最小二乘估计每次计算都需要批处理的问题，做到了实时测量，提高了效率。

而卡尔曼滤波就是在递归最小二乘的基础上加上了系统内部的动态变化。当然这是卡尔曼滤波关于RLS的思路，还可以从高斯分布角度去思考，但目前不知道如何将这两者联合起来…

参考资料：
笔记本！
高斯-马尔可夫定理
卡尔曼滤波与最小二乘法
卡尔曼滤波-高斯分布