对于
当年学的时候只是强行记住了这个公式。但是协方差矩阵
一元正态分布
回顾一下一元正态分布
当存在多个互相独立的一元正态分布时,它们的联合概率密度函数为各自密度函数的乘积:
(3) 中 exp 的指数项可以写成如下的矩阵形式:
也就是:
故 (3) 可以转化为:
这正是 (1) 的形式。如果把各个一元正态分布组合起来,形成一个高维随机变量,这里的联合概率密度函数,就是该高维随机变量的概率密度函数。因此,对于各维独立的高维随机变量,公式 (1) 成立。
协方差矩阵的对角化
上一节中用独立的多个一元正态分布,推导出了多元正态分布的概率密度函数。然而,当各个子分布并不独立时应该怎么办呢?这就要借助矩阵对角化了。
对一组观测数据
其协方差矩阵为:
如果数据的每个维度是相互独立的,则协方差矩阵为对角矩阵,反之则不是。而矩阵的特征向量可以构建一组基底,将数据映射到新的空间,在新的空间下,数据各个维度相互独立。
多元正态分布
上一节引出了
而且由于
![d7eb8e75aa89bf985d153a01a3c1bdbd.png](https://i-blog.csdnimg.cn/blog_migrate/e4b450ab5d04c8118b81aa8d36a4705b.jpeg)
想象一堆观测数据,它们堆成小山(高的地方密度大,低的地方密度小)。我们把所有数据经过同样的旋转变换后,这个小山的形状并不会发生变化。也就是说,旋转前后各数据点的概率密度不变。
而旋转后的数据各维度相互独立,正好符合本文第二节的结论,可以直接套用公式 (1)。
根据方差公式易知,在新的基底下,数据的各个维度的方差就是
对 (4) 两边取逆:
代入 (5) 即为
同时,根据 (4) 有:
综上,多元正态分布的公式为:
插图代码
import