原文:https://www.cnblogs.com/bingjianing/p/9117330.html
在数据建模时,经常会用到多元高斯分布模型,下面就这个模型的公式并结合它的几何意义,来做一个直观上的讲解。
1, 标准高斯函数
高斯函数标准型:
这个函数描述了变量 x 的一种分布特性,变量x的分布有如下特点:
Ⅰ, 均值 = 0
Ⅱ, 方差为1
Ⅲ, 概率密度和为1
2, 一元高斯函数一般形式
一元高斯函数一般形式:
我们可以令:
称这个过程为标准化, 不难理解,,从z->x的过程如下:
Ⅰ, 将 x 向右移动 μ 个单位
Ⅱ, 将密度函数伸展 σ 倍
而标准化(x -> z)所做的事情就是上述步骤的逆向
唯一不太好理解的是前面 中的σ, 为什么这里多了一个 σ, 不是 2σ 或其他?
当然,这里可以拿着概率密度函数的性质,使用微积分进行积分,为了保证最终的积分等于1, 这里必须是 σ
这里我想说一下自己的直观感受:
实线代表的函数是标准高斯函数:
虚线代表的是标准高斯函数在 x 轴方向2倍延展,效果如下:
A(x = 1) -> D(x = 2)
E(x = 1.5) -> F(x = 3)
G(x = 2) -> H(x = 4)
横向拓宽了,纵向还是保持不变,可以想象,最后的函数积分肯定不等于1
采用极限的思想,将 x 轴切分成无穷个细小的片段,每个片段可以与函数围城一个区域,因为我的切分足够小,这个区域的面积可以近似采用公式:面积 = 底 × 高 求得:
从 AQRS -> DTUV, 底乘以2倍,高维持不变,所以,要保持变化前后面积不变,函数的高度应该变为原来的 1/2
所以高斯函数在 x 轴方向做2倍延展的同时,纵向应该压缩为原来的一半,才能重新形成新的高斯分布函数
扩展到一般情形,x 轴方向做 σ 倍延拓的同时, y 轴应该压缩 σ 倍(乘以 1/σ)
3, 独立多元正态分布先假设n个变量 互不相关,且服从正态分布(维度不相关多元正态分布),各个维度的均值, 方差 。根据联合概率密度公式:
令,
这样多元正态分布又可以写成一元那种漂亮的形式了(注意一元与多元的差别):
因为多元正态分布有着很强的几何思想,单纯从代数的角度看待z很难看出z的概率分布规律,这里需要转换成矩阵形式:
等式比较长,让我们要做一下变量替换:
定义一个符号
∑代表变量 X 的协方差矩阵, i行j列的元素值表示与的协方差。
因为现在变量之间是相互独立的,所以只有对角线上 (i = j)存在元素,其他地方都等于0,且与它本身的协方差就等于方差
∑是一个对角阵,根据对角矩阵的性质,它的逆矩阵:
对角矩阵的行列式 = 对角元素的乘积
替换变量之后,等式可以简化为:
代入以z为自变量的标准高斯分布函数中: