多元高斯分布

最新推荐文章于 2024-04-20 21:50:24 发布
最新推荐文章于 2024-04-20 21:50:24 发布
阅读量5.3k 收藏 28
点赞数 3
文章标签： 机器学习 线性代数 深度学习
原文链接：https://zhuanlan.zhihu.com/p/58987388
版权

一、多元标准高斯分布

高斯分布在机器学习中出现得很频繁。高斯分布被誉为"上帝的分布", 其强悍的建模能力和优美的数学性质使得高斯分布在现实中得到广泛的应用。我们知道, 大量独立同分布的随机变量的均值在做适当标准化之后会依分布收敛于高斯分布, 这使得高斯分布具有普适性的建模能力。

首先是一元高斯分布：

若是随机变量X\sim N(\mu ,\sigma ^{2}),则有如下概率密度函数

 

 如果我们对随机变量X进行标准化，则

 从而有

 此时随机变量Z是有X得来的，Z\sim N(0,1)服从一元标准高斯分布，其均值\mu =0，其方差\sigma ^{2}=1，其概率密度函数为：

 随机变量 X 标准化的过程, 实际上的消除量纲影响和分布差异的过程. 通过将随机变量的值减去其均值再除以标准差, 使得随机变量与其均值的差距可以用若干个标准差来衡量, 从而实现了不同随机变量与其对应均值的差距, 可以以一种相对的距离来进行比较。标量进行标准化一方面的原因就是方便比较。

 而多元标准高斯分布的概率密度函数就是由一元高斯分布导出的。假设我们有随机变量\overrightarrow{Z}=[z^{_{1}},z^{^{2}},z^{3},....,z^{n}]^{^{T}},其中，z^{i}\sim N(0,1),其z^{i} z^{j}相互独立。即随机向量中的每个随机变量z^{i}都服从标准高斯分布且两两彼此独立，则结合上文的一元高斯分布，我们可得随机向量\overrightarrow{Z}=[z^{_{1}},z^{^{2}},z^{3},....,z^{n}]^{^{T}}的联合概率密度函数为：

 我们成随机向量\overrightarrow{Z}\sim N(\overrightarrow{0},\overrightarrow{I}),即随机向量服从均值为零向量, 协方差矩阵为单位矩阵的高斯分布.。在这里，随机向量\overrightarrow{Z}的协方差矩阵是Conv(Z_{i},Z_{j}),i,j=1,2,......n组成的矩阵

 由于随机向量\overrightarrow{Z}\sim N(\overrightarrow{0},\overrightarrow{I})，所以其协方差矩阵的对角线元素为1，其余元素为0.如果我们取常数c=p(z_{1},....,z_{n}),则可得函数p(z_{1},....,z_{n})的等高线为c^{'}=Z^{T}Z,当随机向量c^{'}=Z^{T}Z=z_{1}^{2}+z_{2}^{2}=(z_{1}-0)^{2}+(z_{2}-0)^{2}

由此可知，其等高线以（0,0）为圆心的同心圆。

 

二、多元高斯分布

 

 这里讨论的就是一般情况。即向量\overrightarrow{X}\sim N(\mu ,\sum ),即X_{i}\sim N(\mu ,\sigma _{i}^{2}),且X_{i} X_{j}彼此并不独立的普通情况，接下来的操作就是我们需要将不符合要求的\overrightarrow{X}\sim N(\mu ,\sum )

使其符合要求，也就是使 X_{i} X_{j}彼此相互独立。从而求得其概率密度函数。

 通过一系列的操作，我们可以得到联合概率密度函数的最终表达形式:

 

 原本由定理1, 我们还需要求线性变换矩阵 B, 才能确定随机向量 [公式] 的联合概率密度函数的表达式, 现在可得最终形式, 随机向量 [公式] 的联合概率密度函数由其均值向量 [公式] 和其协方差矩阵 [公式] 唯一确定, 但我们需要明白的是, 这是通过定理1的线性变换 [公式] 得到的, 即此线性变换隐含其中.

 

 

 

 

weixin_45492636
关注
  • 3
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
多元高斯分布的边际分布与条件分布
03-30
MCMC算法--Gibbs采样2：多元高斯分布的边际分布与条件分布
多元高斯分布全解析
noobiee的博客
10-23 1326
首先我们知道一元高斯分布是：N(x∣u,σ2)=12πσ2exp[−12σ2(x−u)2]N(x|u,\sigma^2)=\frac{1}{\sqrt{2\pi \sigma^2}}exp[-\frac{1}{2\sigma^2}(x-u)^2]N(x∣u,σ2)=2πσ2​1​exp[−2σ21​(x−u)2], 拓展到高维时： N(x‾∣u‾,Σ)=1(2π)D/21∣Σ∣1/2exp[−12(x‾−u‾)TΣ−1(x‾−u‾)]N(\overline x | \overline u, \Sigma)=
多元高斯分布(python示例)
最新发布
yangweipeng708的博客
04-20 695
多元高斯分布（也称为多变量正态分布）是单变量高斯分布的推广，用于描述多个随机变量之间的联合分布，这些变量之间可能存在线性相关性。多元高斯分布的概率密度函数的形式比较复杂，主要依赖于均值向量和协方差矩阵。
多元高斯分布（Multivariate Gaussian Distribution）（详细说明，便于理解）
我不爱机器学习的博客
01-15 2万+
在深入了解多元高斯分布前，可以先了解一下一元高斯分布。 接下来对多元高斯分布进行详细的说明与推导。 对于 维的向量（连续变量），多变量（多元， multivariate Gaussian）高斯分布形式为： 式中的是 维的均值向量，是的协方差矩阵（covariance matrix），是的行列式（determinan...
多元高斯分布的协方差矩阵与信息矩阵
sky的博客
07-09 8522
零均值的多元高斯分布有如下概率形式： 其中是协方差矩阵，协方差矩阵的逆可以记作，也叫信息矩阵。当变量xx是三维变量时，协方差矩阵为： 其中 其实在应用中，往往我们直接操作的是信息矩阵，而不是协方差矩阵。下面从一个例子来体会一下协方差矩阵与信息矩阵。 example 假设为室外的温度，分别是房间1与房间3的室内温度： 其中，为相互独立，且各自服从协方差为的高斯分布。根据上面它们之间的联系，我们可以求出的协方差矩阵，首先： 然后同理，可以求出另外两个对角元素为。而对于协方差矩阵
机器人学中的状态估计（二）：高斯概率密度函数的性质
LDST_CSDN的博客
05-13 711
1. 联合高斯概率密度函数 设有一对服从多元正态分布的变量(x,y)(x,y)(x,y)，则其联合概率密度函数为： p(x,y)=N([μxμy],[ΣxxΣxyΣyxΣyy]) p(x,y)=\mathcal{N}\left( \begin{array}{cc} \left[ \begin{array}{cc} \mu_x \\ \mu_y \end{array} \right], \left[ \begin{array}{cc} \Sigma_{xx} & \Sigma_{xy} \\ \Sig
两个多元高斯分布之间的KL散度：有效计算两个多元高斯分布之间的Kullback-Leibler散度的函数。-matlab开发
05-28
此函数计算具有指定参数（均值和协方差矩阵）的两个多元高斯分布之间的Kullback-Leibler（KL）散度。 协方差矩阵必须是正定的。 该代码高效且数值稳定。 例子： 1）计算两个单变量高斯之间的KL散度：KL（N（-1,1）|...
ndarray-multivariate-gaussian：从多元高斯分布中抽取样本
02-22
ndarray-多元高斯 从多元高斯分布中抽取样本例子import ndarray from 'ndarray' ;import mvGaussian from 'ndarray-multivariate-gaussian' ;const mean = ndarray ( [ 1 , 2 ] ) ;const covariance = ndarray ( [ 4...
多元高斯分布：从多元高斯分布计算样本。-matlab开发
06-01
使用： 您需要从 3 维高斯分布生成 1000 个样本，均值 m = [4,5,6]，协方差 sigma = [9 0 0;0 9 0;0 0 9]。 命令行： x=mgd(1000,3,m,sigma) 或 x=mgd(1000,3,m',sigma) 均值是作为行向量还是列向量给出并不重要 x...
多维高斯分布与协方差矩阵的关系以及高斯椭圆
热门推荐
开贰锤
05-17 3万+
一维高斯分布概率密度函数 f(x;μ,σ)=1σ2π−−√exp(−(x−μ)22σ2)f(x;μ,σ)=1σ2πexp⁡(−(x−μ)22σ2) f(x;\mu,\sigma) = \frac{1}{\sigma \sqrt{2\pi}} \exp(-\frac{(x-\mu)^2}{2\sigma^2}) 若随机变量XXX服从这个高斯分布，则可写作X∼N(μ,σ)X∼N(μ,σ)X\si...
高斯概率密度函数
林景的博客
09-18 3万+
正态分布及其性质回顾 1. 单变量正态分布 单变量正态分布概率密度函数定义为： ρ(x)=12πσe−12(x−μσ)2(1) \rho(x)=\frac{1}{\sqrt{2\pi \sigma}} e^{-\frac{1}{2} (\frac{x- \mu}{\sigma})^2} \tag 1 ρ(x)=2πσ​1​e−21​(σx−μ​)2(1) 式中μ\muμ为随机变量xxx的期望，σ2\sigma^2σ2为xxx的方差，σ\sigmaσ称为标准差。 μ=E(x)=∫−∞∞xρ(x)dx(2) \
matlab实现多元高斯分布概率密度计算
m0_49558200的博客
05-08 3508
最近要应用多元高斯分布进行异常检测，使用matlab实现。 1.使用matlab自带函数mvnpdf mvnpdf(data,miu,COV) 在这里，data是需要计算多元高斯分布概率密度的m*n维数组。m是数据的条数，n是每条数据的特征数。miu是属性的平均值组成的向量（是行向量），COV为协方差矩阵。 2.用原始公式 多元高斯分布的概率密度公式如下。使用矩阵计算实现 i=17;%特征个数 m=1; while m<=30687 x=...
matlab练习程序（生成多维高斯分布概率密度函数）
bonnie386的博客
12-19 5513
clear all; close all; clc; randn('seed',0); %%一维高斯函数 mu=0; sigma=1; x=-6:0.1:6; y=normpdf(x,mu,sigma); plot(x,y); figure; %%二维或多维高斯函数 mu=[0 0]; sigma=[0.3 0;0 0.35]; [x y]=meshgrid(linspace(-8,8,80)
高斯分布（Gaussian Distribution）的概率密度函数（probability density function）
03-27 9335
高斯分布（Gaussian Distribution）的概率密度函数（probability density function） 对应于numpy中： numpy.random.normal(loc=0.0, scale=1.0, size=None) 参数的意义为： loc：float 此概率分布的均值（对应着整个分布的中心centre） scale：f...
多元高斯分布 matlab
10-17
多元高斯分布在 Matlab 中可以使用 mvnpdf 函数进行计算。该函数的语法为： ```matlab p = mvnpdf(X, mu, Sigma) ``` 其中，X 是一个 n×d 的矩阵，表示 n 个 d 维样本；mu 是一个 1×d 的向量，表示高斯分布的均值；Sigma 是一个 d×d 的协方差矩阵。 下面是一个示例代码： ```matlab % 生成一个二维高斯分布的样本 mu = [1 2]; Sigma = [1 0.5; 0.5 2]; X = mvnrnd(mu, Sigma, 1000); % 计算样本在高斯分布下的概率密度 p = mvnpdf(X, mu, Sigma); % 绘制概率密度图 scatter(X(:,1), X(:,2), 10, p, 'filled'); colorbar; ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值