在第一部分中,我们讨论了一个简单的例子,就是证明一个随机过程是平稳过程,其中涉及到的基础也相对较广泛,就简单回顾了一下,今天的第二部分开始深入主题,触及到卡尔曼滤波的边缘(比较慢,大家别见笑)。学习卡尔曼滤波估计,要知道最优估计理论里面的相关知识,更要了解最基础最根本的最优估计理论,那就是古典最小二乘法。今天我们将从它的证明过程来学习矩阵运算、向量运算的一些基本知识。
首先,我们给出古典最小二乘估计的定义:
这个应该不难理解吧,只是化成向量和矩阵的形式,和平时我们熟悉的方程有点出入,回去复习一下基本知识便可以理解。这里再推荐一本教程就是线性代数同济版的。
好了,我们开始证明吧。把上面的式子转换成矩阵的形式,如下:
其中,我们规定测量误差矩阵的均值为0,方差为R,如下:
我们知道,最小二乘的目的就是为了求的估计值能使误差平方和达到最小,那么就是使性能指标J(x)取得极小值。
要运算该式,需要知道矩阵相对于向量的微分运算法则。如下:
这里a=b=Z-HX,将其代入上式可以得到如下式子:
易得如下式子:
到此,我们就可以求出性能指标达到最小的时候的估计值。
而最小二乘的估计误差等于:
估计误差的数学期望等于零,因此最小二乘估计也是无偏估计(估计误差期望等于0):
那么,无偏估计的一个特性就可以体现出来,那就是估计误差方差阵和估计值的均方误差阵相等。
容易得到,最小二乘估计的估计误差方差阵为:
此时,最小二乘估计的性能指标的极小值为:
但是!!!!!!要明确一点!!!!!
性能指标J和估计误差方差阵是两个不同的概念!!!!
最小二乘估计只是保证测量值和估计值的误差的平方和最小,而不能保证估计误差的方差最小。这和我们要学习的卡尔曼滤波估计是有区别的。当然,通过这个相对简单的推导和证明,我们后面才方便推导出卡尔曼滤波估计的公式。