学习卡尔曼滤波推导笔记系列（2）

在第一部分中，我们讨论了一个简单的例子，就是证明一个随机过程是平稳过程，其中涉及到的基础也相对较广泛，就简单回顾了一下，今天的第二部分开始深入主题，触及到卡尔曼滤波的边缘（比较慢，大家别见笑）。学习卡尔曼滤波估计，要知道最优估计理论里面的相关知识，更要了解最基础最根本的最优估计理论，那就是古典最小二乘法。今天我们将从它的证明过程来学习矩阵运算、向量运算的一些基本知识。

首先，我们给出古典最小二乘估计的定义：

这个应该不难理解吧，只是化成向量和矩阵的形式，和平时我们熟悉的方程有点出入，回去复习一下基本知识便可以理解。这里再推荐一本教程就是线性代数同济版的。

好了，我们开始证明吧。把上面的式子转换成矩阵的形式，如下：

其中，我们规定测量误差矩阵的均值为0，方差为R，如下：

我们知道，最小二乘的目的就是为了求的估计值能使误差平方和达到最小，那么就是使性能指标J（x）取得极小值。

要运算该式，需要知道矩阵相对于向量的微分运算法则。如下：

这里a=b=Z-HX，将其代入上式可以得到如下式子：

易得如下式子：

到此，我们就可以求出性能指标达到最小的时候的估计值。

而最小二乘的估计误差等于：

估计误差的数学期望等于零，因此最小二乘估计也是无偏估计（估计误差期望等于0）：

那么，无偏估计的一个特性就可以体现出来，那就是估计误差方差阵和估计值的均方误差阵相等。

容易得到，最小二乘估计的估计误差方差阵为：

此时，最小二乘估计的性能指标的极小值为：

但是！！！！！！要明确一点！！！！！
性能指标J和估计误差方差阵是两个不同的概念！！！！
最小二乘估计只是保证测量值和估计值的误差的平方和最小，而不能保证估计误差的方差最小。这和我们要学习的卡尔曼滤波估计是有区别的。当然，通过这个相对简单的推导和证明，我们后面才方便推导出卡尔曼滤波估计的公式。