多元函数严格凹 海塞矩阵正定_多元正态分布和卡尔曼滤波(多元正态分布完全解析，补坑)...

之前写最小二乘法与卡尔曼滤波时说过不需要过多的假设误差分布既可得出卡尔曼滤波。也就是说卡尔曼滤波不需要假设正态分布。

佐理慧：卡尔曼滤波与最小二乘法​zhuanlan.zhihu.com

不过也留下了一个坑。如何通过假设误差分布为正态时得出卡尔曼滤波？当然，对于初学者我不建议使用高随分布相关的知识来推导，因为这会给人一种误导。那就是最小二乘法只能用在误差分布为正态分布的前提假设下。而且，这条战线稍微的有些陡峭。

不过，通过假设误差的分布可以得出更多结论，这就像我们常说的：具体问题，具体分析。

你可能还要先了解一下贝叶斯状态估计：

佐理慧：贝叶斯状态估计​zhuanlan.zhihu.com

多元函数参数代换：

佐理慧：行列式几何意义与多元函数求积分中的变量代换​zhuanlan.zhihu.com

---

高斯分布的小历史

为什么正态分布的桂冠落在了高斯头上？

这不得不佩服高斯的灵感。而在高斯之前，概率论大牛拉普拉斯也曾努力过，可惜以失败而告终。
高斯的论证有一个不那么合理的前提，那就是平均值应该是优良的。

这是因为在成百上千的统计方法中，取平均是最为人熟知，使用最广泛的方法。也经历了时间的考验。当我们以大量的数据得出的结论，狭隘的说就是“平均观点”。

假设误差密度函数为记号：

，

为其平均值。

那么它应该是最可能出现的，或者说是真实值。也就是说：

假设我们现在做了

次实验，每次实验的误差应该是相互独立的。既然是相互独立的。那么应该有：

这有点像最大似然估计。

进而有：

根据：

，则：

刻意令：

这个操作你可以认为固定函数不变，改变输入。那么我们得到了：

这就得到了:

两边积分：

所以：

进一步对积分归一化后就得到了正态分布。

其实高斯的证明有一些循环论证的意味，不是那么自然，先承认算术平均值的优良性，得到正态分布，反过来用正态分布推出算术平均的优良性。

拉普拉斯看到高斯的文章后，很快与他的中心极限定理联系起来。提出了元误差说，拉普拉斯的解释更为合理自然。拉普拉斯认为误差是由许多因素叠加起来的，而大量的叠加根据中心极限定理，误差分布理应是正态的。这也是为什么正态分布在自然界中这么常见。

方差为

,均值为

的正态分布 :

多元正态分布：

多元正态分布 形式应该是：

其中

是协方差矩阵，对称且正定。

为

的均值。其实

可以得到了一个高维空间的椭球。

（为什么是椭球？提示一下，变换坐标系到P为对角矩阵）

这样的定义看起来还是很合理的。利用多元函数的变量代换可以简单证明

就是一个概率密度函数。

首先，

是正定对称的，根据线性代数中的知识点，这意味着存在矩阵

有：

那么显然，

是非奇异的。令：

则：

.

利用多元函数参数代换：

不加证明的给出多元高斯分布的性质两个性质, 若想要看证明。请直接跳转到最后：

性质

则：

性质

则：

这两个性质推导卡尔曼滤波是非常方便的。若想要看证明。请直接跳转到最后。。

---

最小二乘法的概率分布

我们知道，再满足每次测量不相关，同方差，误差均值为

时. 以下面文章中约定的符号来说：

佐理慧：卡尔曼滤波与最小二乘法​zhuanlan.zhihu.com

此时最佳线性无偏估计就是最小二乘法：

如果假设误差分布是高斯，以

表示概率密度的话，应该有：

由于

的每次测量相互独立。立即有：

反过来，我们想要知道

假设

这意味着：

那么：

最小二乘法与卡尔曼滤波中，曾约定

, 根据多元正态分布

性质

得到：

这已经类似于计算：

了

（其实是

）。根据 多元正态分布的性质

令：

这样就得到了递推最小二乘法（

）

那么此时，在误差为正态分布时，

的概率分布为：

这就以正态分布的前提下 说明了均方误差最小时

是最有可能的存在。

---

卡尔曼滤波

卡尔曼滤波就是递推最小二乘法增加一个状态转移：

回想一下贝叶斯状态估计：

先验估计

是计算关键：

卡尔曼滤波动态系统为例：

此时，

,

.

不同时刻误差相互独立。

简单的根据多元正态分布的性质

：

利用多元正态分布性质

：

这样卡尔曼滤波也得证了。因为先验算完接着最小二乘法就是卡尔曼滤波了。

---

多元正态分布性质与证明

对于多元正态分布，随机变量

先看

的傅里叶变换

（特征函数）：

令

(线性代数中的一个知识点，关于对称正定矩阵)

则：

令：

得到：

则：

令

则利用多元函数参数代换：

单独看某个维度的积分：

令：

则：

利用积分：

这也就是说：

进而 ：

所以

,

因为：

,所以：

.

所以：

那么其任意子向量

的分布又是怎样的呢？

剩余的子项量我们记为：

我们可以计算

的到傅里叶变换

（特征函数）。

令：

根据

则此时

只保留对应下标的向量。

保留对应

保留的行与列。

这就得到了多元正态分布的性质

。

即：

去掉某些分量的分布 也是正太的，协方差与均值也去掉相应维度与对应行列。

（利用这种方法，可以进一步证明，

各个维度的任意线性组合也是正态分布）

最小二乘法与卡尔曼滤波中，我们曾经使用过一个精巧的矩阵反演(通过舒尔补构造的矩阵）

其中：

均可逆，稍后会用到。

证明性质

显然：

,其中

是

维向量，

是

维向量

计算

上面一大坨等于：

进一步得到：

利用矩阵反演：

而行列式

所以性质

得证。

根据性质

证明性质

显然根据性质

另外证明

所以上述协方差的逆为：

这也就进一步有：

对于

的分布，关键是计算：

根据性质

显然：

高斯分布的这几个性质非常重要。