CS229《机器学习》笔记 | 多元高斯分布的边缘分布和条件分布

最新推荐文章于 2024-05-30 09:52:37 发布
最新推荐文章于 2024-05-30 09:52:37 发布
阅读量8.3k 收藏 54
点赞数 14
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/denalmighty/article/details/81090311
版权

吴恩达的《机器学习（CS229）》Lecture note 9（Part X Factor analysis）中提及了多元高斯分布的边缘分布和条件分布，指出这两者本身亦是高斯分布，但没有给出详细的证明。我自己尝试着推导，但不得要领，直到上网搜索后才恍然大悟。现将该证明过程记录于此，关键在于对协方差矩阵进行LDU分解。

边缘分布

一个多元概率分布的部分元所服从的概率分布即边缘分布，通过将剩余元求和或积分得到。比如，对于一个二元（用X，Y代表其随机变量）概率密度函数p_{X,Y}(x,y)（可理解为X∈[x, x+dx]且Y∈[y, y+dy]的概率），X所服从的边缘分布的密度函数通过将变量Y积分得到，即

p_X(x)=\int p_{X,Y}(x,y)dy                                                                                                                                  （1）

代表X∈[x, x+dx]而Y可以是任意值的概率。

条件分布

设A和B是两个事件，条件概率定义为在事件A发生的条件下，事件B发生的概率

P(B|A)=\frac{P(AB)}{P(A)}                                                                                                                                            （2）

依旧以上述的二元概率密度为例，根据定义，其条件概率密度即为

p_{X|Y}(x|y)=\frac{p_{X,Y}(x,y)}{p_Y(y)}                                                                                                                                    （3）

于是，上述的边缘概率密度也可进一步表示为

p_X(x)=\int p_{X,Y}(x,y)dy=\int p_{X|Y}(x|y)p_Y(y)dy                                                                                         （4）

多元高斯分布

多元高斯分布是一维情况的推广。在一维时，假设随机变量X服从高斯分布，其概率密度为

p_X(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp\left[-\frac{(x-\mu)^2}{2\sigma^2} \right]                                                                                                                   （5）

记作X\sim N\left ( \mu,\sigma^2 \right )，其中\mu为随机变量X的期待值，\sigma^2为方差。现推广到n个随机变量\{ X_1,\ X_2,\ \cdots, X_n\}，此时，对应的密度函数指数部分为这n个变量的一个二次型（假设各随机变量的期待值均为0），即一个实系数的二次齐次函数

最低0.47元/天 解锁文章
Kinosum
关注
  • 14
    点赞
  • 踩
  • 54
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
正态分布的条件分布与边缘分布
分析101
04-14 5104
本文总结多元正态分布的条件分布与边缘分布，证明不难，但都比较繁琐，故不做详细证明，有兴趣可以参考Pattern Recognition and Machine Learningy一书。 1 正态分布的条件分布 对于联合正态分布变量x∼N(μ,Σ)x\sim N(\mu,\Sigma)x∼N(μ,Σ)，定义精度矩阵（the precision matrix）为协方差矩阵的逆，即Λ≡Σ−1\Lambda\equiv \Sigma^{-1}Λ≡Σ−1，做分块处理： x=[xaxb],μ=[μaμb],Σ=[Σaa
多元高斯分布的边际分布与条件分布
03-30
MCMC算法--Gibbs采样2：多元高斯分布的边际分布与条件分布
多维高斯分布
rauchy的博客
09-24 5991
简介   高斯分布是比较常见的概率分布，一维高斯分布如下： f(x)=12πσe−(x−μ)22σ2f(x)=\frac{1}{2\pi\sigma}e^{-{\frac{(x-\mu)^2} {2\sigma^2}}}f(x)=2πσ1​e−2σ2(x−μ)2​ 其中，σ\sigmaσ是方差，μ\muμ是平均值。但是常见的一般是多维高斯分布，我们可以由一维的高斯分布推广到多维的高斯分布。 推导 ...
CS229
最新发布
weixin_51788246的博客
05-30 535
记录学习，有错误请指正
多元高斯分布的边缘概率和条件概率
weixin_30825199的博客
04-03 751
0. 多元高斯分布 假定一个 n 维的随机变量 x=[x1x2]∼N(μ,Σ)，其中 x1,x2 的维度分别是 p 和 q（也即 p+q=n），μ=[μ1μ2]，Σ=[Σ11Σ21Σ12Σ22]（Σ=ΣT,Σ21=ΣT21）， 1. 边缘分布 x1,x2 各自依然服从 μi，写反差矩阵 Σii 的多元高斯分布； 2. 条件概率分布 给定 xj 求...
手撕自动驾驶算法——多元高斯分布与边缘化
xiaohu的博客
12-20 331
layout: post post title: 高斯分布与边缘化 date: 2019-10-30 20:14:03 categories: VSLAM mathjax: true tags: VSLAM 多元高斯分布 高斯分布有两种表达方式： 协方差矩阵+均值 信息矩阵+信息矢量 协方差矩阵+均值的方式比较常见，如下 左边常数项记为ηηη，p(x)p(x)p(x)可以记为： ...
机器学习中的数学——边缘概率
热门推荐
冯·诺依曼
10-02 1万+
有时候，我们知道了一组变量的联合概率分布，但想要了解其中一个子集的概率分布。这种定义在子集上的概率分布被称为边缘概率分布。例如，假设有离散型随机变量xxx和yyy，并且我们知道P(x,y)P(x, y)P(x,y)。我们可以依据下面的求和法则来计算P(x)P(x)P(x)： ∀xi∈x:P(xi)=∑yiP(xi,yi)\forall x_i\in x:P(x_i)=\sum_{y_i}P(x_i, y_i)∀xi​∈x:P(xi​)=yi​∑​P(xi​,yi​) “边缘概率”的名称来源于手算边缘概率的计
概率图模型(01): 概述 & 三种分布 （边缘 & 联合 & 条件）
mjiansun的专栏
06-28 935
https://blog.csdn.net/thither_shore/article/details/52192553
Stanford CS229 机器学习笔记
11-24
在目录附录Ⅱ中，吴恩达老师继续介绍了机器学习的基础概念，包括决策树、集成学习、高斯过程、多元高斯分布、Hoeffding 不等式、损失函数和凸优化概述等。 第一章中，吴恩达老师详细介绍了监督学习的概念，包括监督...
2022-cs229机器学习笔记
02-21
2022-cs229机器学习笔记 本资源笔记对机器学习的基本概念进行了讲解，包括监督学习、无监督学习和强化学习。监督学习是基于输入x和输出y的学习，目标是通过学习从而预测新的输入输出。无监督学习是基于输入x的学习...
斯坦福大学cs229机器学习课程原始讲义合集
01-11
【斯坦福大学cs229机器学习课程原始讲义合集】是一份极其珍贵的教育资源，它涵盖了机器学习领域的广泛知识，由世界顶尖学府斯坦福大学精心编撰。这份讲义不仅适合初学者，也对有经验的从业人员有所启发。下面我们将...
斯坦福大学机器学习CS229笔记
01-23
《斯坦福大学机器学习CS229笔记》是吴恩达教授在斯坦福大学开设的一门深入探讨机器学习的课程，旨在为学生提供全面而深入的机器学习理论和实践知识。这门课程不仅覆盖了他在Coursera上的《机器学习》课程的基础内容...
深入理解边缘高斯分布与条件高斯分布
新型多传感器导航融合算法及基于贝叶斯框架下自适应鲁棒滤波
01-23 1628
多元高斯分布在统计学和机器学习领域中扮演着关键的角色。在这个分布的框架下，我们经常会遇到边缘高斯分布和条件高斯分布，它们分别涉及了从原始分布中选择一部分变量和在已知条件下计算其他变量的概率分布。本文将深入研究这两个概念，探讨它们的核心思想、数学表示以及在实际问题中的应用。
机器学习|联合分布和边缘分布（一维、二维随机变量）|10mins入门|概统学习笔记（二）
用途：中英文学习笔记，如有侵权，可评论留言，及时清理；学历：NUS计算机硕士；SYSU地球物理学士
03-28 3595
联合分布和边缘分布 一维随机变量X与二维随机变量（X，Y）（及以上）比较 二维离散型随机变量（X，Y）， 联合分布 X和Y的联合概率函数为 P(X=xi,Y=yj)=piji,j=1,2,... P(X=x_i,Y=y_j)=p_{ij} \quad i,j=1,2,... P(X=xi​,Y=yj​)=pij​i,j=1,2,... {pij≥0, i,j=1,2,......
机器学习笔记之高斯分布(五)推断任务之边缘概率分布与条件概率分布
静静的学习就好
11-21 1207
上一节介绍了高斯分布概率模型相关的推断问题，并详细介绍了给定联合概率分布求解条件概率分布。本节将继续介绍推断任务——基于随机变量之间存在线性关系的条件下，求解条件概率与边缘概率。
多元高斯分布中条件分布与边缘分布的相关公式
小白机械师的博客
10-11 2698
在阅读高斯过程（GPs）时，我认为能够证明有关多元高斯分布的一些基本事实将是有用的，这些高斯分布是GP的基础。 即，如何证明多元高斯的条件分布和边际分布也是高斯，并给出其形式。 首先，我们知道，一个均值为μ\muμ、协方差矩阵为Σ\SigmaΣ的多元正态分布的概率密度函数可以表示为 1(2π)k/2∣Σ∣1/2exp(−12(x−μ)TΣ−1(x−μ)) \frac{1}{(2\pi)^{k/2}{|\Sigma|}^{1/2}} exp(- \frac{1}{2} (x - \mu)^T \Sigma^{
多维高斯分布讲解
爷的博客
03-09 2494
多维高斯分布详解
多元高斯分布（二）——更多关于多元高斯分布
冬之晓
07-25 3032
注意，本文内容来自于吴恩达老师cs229课堂笔记的中文翻译项目:https://github.com/Kivy-CN/Stanford-CS-229-CN 中部分的内容进行翻译学习。 更多关于多元高斯分布 介绍 到目前为止的课堂上，多元高斯分布已经出现在许多应用中，比如线性回归的概率解释、高斯判别分析、高斯混合聚类，以及最近学习的因子分析。在本节的笔记中，我们试图揭开多元高斯函数在最近学习的因...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值