一维高斯分布概率密度函数
若随机变量 X X 服从这个高斯分布,则可写作。其中 μ μ 为均值, σ σ 为标准差, σ2 σ 2 为方差。
多维高斯分布概率密度函数
如果随机变量
X=(X1,X2,…,Xp)′
X
=
(
X
1
,
X
2
,
…
,
X
p
)
′
的分布密度函数有如下形式
其中 μ μ 为均值, Σ Σ 为协方差矩阵。关于协方差矩阵的内容可以看 关于协方差矩阵在机器学习中的理解。
1. 针对二维高斯分布,若随机变量中的两个维度不相关,协方差矩阵对对角阵,则如下图所示
构成一个圆形。
2.若两个维度数据相关,协方差矩阵为对称矩阵,则如下图所示
构成一个椭圆形。
3.针对二维高斯分布,协方差矩阵的对角线元素为
X1
X
1
与
X2
X
2
轴的方差,反斜对角线上的两个值为协方差,表明
X1
X
1
与
X2
X
2
的线性相关程度,(正值时:
X1
X
1
增大,
X2
X
2
也随之增大;负值时:
X1
X
1
增大,
X2
X
2
随之减小)。
图片来自
能够看出,图形的形状跟方向跟协方差矩阵
XXT
X
X
T
相关,所在轴的方差越大则该方向越长,协方差矩阵最大特征值对应的特征向量的方向为椭圆的朝向。