多元高斯分布（The Multivariate normal distribution）

最新推荐文章于 2022-07-12 17:20:30 发布

FY_2018

最新推荐文章于 2022-07-12 17:20:30 发布

阅读量2.8k

点赞数 3

分类专栏：概率统计

原文链接：https://www.cnblogs.com/bingjianing/p/9117330.html

版权

概率统计专栏收录该内容

3 篇文章 1 订阅

订阅专栏

原文：https://www.cnblogs.com/bingjianing/p/9117330.html

在数据建模时，经常会用到多元高斯分布模型，下面就这个模型的公式并结合它的几何意义，来做一个直观上的讲解。

1，标准高斯函数

高斯函数标准型：

$f(x) = \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$

这个函数描述了变量 x 的一种分布特性，变量x的分布有如下特点：

Ⅰ，均值 = 0

Ⅱ，方差为1

Ⅲ，概率密度和为1

2，一元高斯函数一般形式

一元高斯函数一般形式：

$f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^{2}}}$

我们可以令：

$z=\frac{x-\mu}{\sigma}$

称这个过程为标准化，不难理解， $z \sim N(0, 1)$ ，从z->x的过程如下：

Ⅰ，将 x 向右移动 μ 个单位

Ⅱ，将密度函数伸展 σ 倍

而标准化(x -> z)所做的事情就是上述步骤的逆向

唯一不太好理解的是前面 $\frac{1}{\sqrt{2\pi}\sigma}$ 中的σ，为什么这里多了一个 σ，不是 2σ 或其他？

当然，这里可以拿着概率密度函数的性质，使用微积分进行积分，为了保证最终的积分等于1，这里必须是 σ

这里我想说一下自己的直观感受：

实线代表的函数是标准高斯函数：

$f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2\times2^2}}$

虚线代表的是标准高斯函数在 x 轴方向2倍延展，效果如下：

A(x = 1) -> D(x = 2)

E(x = 1.5) -> F(x = 3)

G(x = 2) -> H(x = 4)

横向拓宽了，纵向还是保持不变，可以想象，最后的函数积分肯定不等于1

采用极限的思想，将 x 轴切分成无穷个细小的片段，每个片段可以与函数围城一个区域，因为我的切分足够小，这个区域的面积可以近似采用公式：面积 = 底 × 高求得：

从 AQRS -> DTUV，底乘以2倍，高维持不变，所以，要保持变化前后面积不变，函数的高度应该变为原来的 1/2

所以高斯函数在 x 轴方向做2倍延展的同时，纵向应该压缩为原来的一半，才能重新形成新的高斯分布函数

扩展到一般情形，x 轴方向做 σ 倍延拓的同时， y 轴应该压缩 σ 倍（乘以 1/σ）

3, 独立多元正态分布先假设n个变量 $x = \left[ \begin{matrix} x_{1}, x_{2},\cdots,x_{n}\end{matrix}\right]^\mathrm{T}$ 互不相关，且服从正态分布（维度不相关多元正态分布），各个维度的均值 $E(x) = \left[ \begin{matrix} \mu_{1}, \mu_{2},\cdots,\mu_{n}\end{matrix}\right]^\mathrm{T}$ ，方差 $σ(x) = \left[ \begin{matrix} \sigma_{1}, \sigma_{2},\cdots,\sigma_{n}\end{matrix}\right]^\mathrm{T}$ $\sigma(x) = \left[ \begin{matrix} \sigma_{1}, \sigma_{2},\cdots,\sigma_{n}\end{matrix}\right]^\mathrm{T}$ 。根据联合概率密度公式：

$f(x) = p(x_{1},x_{2}....x_{n}) = p(x_{1})p(x_{2})....p(x_{n}) = \frac{1}{(\sqrt{2\pi})^n\sigma_{1}\sigma_{2}\cdots\sigma_{n}}e^{-\frac{(x_{1}-\mu_{1})^2}{2\sigma_{1}^2}-\frac{(x_{2}-\mu_{2})^2}{2\sigma_{2}^2}\cdots-\frac{(x_{n}-\mu_{n})^2}{2\sigma_{n}^2}}$

令 $z^{2} = \frac{(x_{1}-\mu_{1})^2}{\sigma_{1}^2}+\frac{(x_{2}-\mu_{2})^2}{\sigma_{2}^2}\cdots+\frac{(x_{n}-\mu_{n})^2}{\sigma_{n}^2}$ , $\sigma_{z}=\sigma_{1}\sigma_{2}\cdots\sigma_{n}$

这样多元正态分布又可以写成一元那种漂亮的形式了(注意一元与多元的差别)：

$f(z) = \frac{1}{(\sqrt{2\pi})^n\sigma_{z}}e^{-\frac{z^2}{2}}$

因为多元正态分布有着很强的几何思想，单纯从代数的角度看待z很难看出z的概率分布规律，这里需要转换成矩阵形式：

$z^2 = z^\mathrm{T}z = \left[ \begin{matrix} x_{1} - \mu_{1}, x_{2} - \mu_{2}, \cdots,x_{n} - \mu_{n}\end{matrix}\right] \left[ \begin{matrix} \frac{1}{\sigma_{1}^2}&0&\cdots&0\\ 0&\frac{1}{\sigma_{2}^2}&\cdots&0\\ \vdots&\cdots&\cdots&\vdots\\ 0&0&\cdots&\frac{1}{\sigma_{n}^2} \end{matrix}\right]\left[ \begin{matrix} x_{1} - \mu_{1}, x_{2} - \mu_{2}, \cdots,x_{n} - \mu_{n}\end{matrix}\right]^\mathrm{T}$

等式比较长，让我们要做一下变量替换：

$x - \mu_{x} = \left[ \begin{matrix} x_{1} - \mu_{1}, x_{2} - \mu_{2}, \cdots,x_{n} - \mu_{n}\end{matrix}\right]^\mathrm{T}$

定义一个符号

$\sum = \left[ \begin{matrix} \sigma_{1}^2&0&\cdots&0\\ 0&\sigma_{2}^2&\cdots&0\\ \vdots&\cdots&\cdots&\vdots\\ 0&0&\cdots&\sigma_{n}^2 \end{matrix}\right]$

∑代表变量 X 的协方差矩阵， i行j列的元素值表示 x_i 与 x_j 的协方差。

因为现在变量之间是相互独立的，所以只有对角线上 (i = j)存在元素，其他地方都等于0，且 x_i 与它本身的协方差就等于方差

∑是一个对角阵，根据对角矩阵的性质，它的逆矩阵：

$(\sum)^{-1} = \left[ \begin{matrix} \frac{1}{\sigma_{1}^2}&0&\cdots&0\\ 0&\frac{1}{\sigma_{2}^2}&\cdots&0\\ \vdots&\cdots&\cdots&\vdots\\ 0&0&\cdots&\frac{1}{\sigma_{n}^2} \end{matrix}\right]$

对角矩阵的行列式 = 对角元素的乘积

$\sigma_{z}= \left|\sum\right|^\frac{1}{2} =\sigma_{1}\sigma_{2}.....\sigma_{n}$

替换变量之后，等式可以简化为：

$z^\mathrm{T}z=(x-\mu_x)^\mathrm{T}(\sum)^{-1}(x-\mu_x)$

代入以z为自变量的标准高斯分布函数中：

$f(z) = \frac{1}{(\sqrt{2\pi})^{n}\sigma_{z}}e^{-\frac{z^2}{2}}=\frac{1}{(\sqrt{2\pi})^{n}|\sum|^{\frac{1}{2}}}e^{-\frac{(x-\mu_{x})^\mathrm{T}(\sum)^{-1}(x-\mu_{x})}{2}}$

FY_2018

关注

3
点赞
踩
19

收藏

觉得还不错? 一键收藏
1
评论
多元高斯分布（The Multivariate normal distribution）

原文：https://www.cnblogs.com/bingjianing/p/9117330.html在数据建模时，经常会用到多元高斯分布模型，下面就这个模型的公式并结合它的几何意义，来做一个直观上的讲解。1，标准高斯函数高斯函数标准型：这个函数描述了变量 x 的一种分布特性，变量x的分布有如下特点：Ⅰ，均值 = 0Ⅱ，方差为1Ⅲ，概率密度和为12，一元高斯函数一般形式一元高斯函数一般形式：我们可以令：称这个过程为标准化， .
复制链接

扫一扫