高斯分布3——边缘概率与条件概率

最新推荐文章于 2025-02-07 15:17:36 发布
最新推荐文章于 2025-02-07 15:17:36 发布
阅读量3.6k 收藏 5
点赞数 1
分类专栏： 机器学习推导 文章标签： 概率论 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38132153/article/details/105255480
版权

一、推导过程:

在这里插入图片描述

二、结果：

  1. 边缘分布
    x1,x2 各自依然服从 μi，写反差矩阵 Σii 的多元高斯分布；

  2. 条件概率分布
    给定 xj 求 xi 的分布：
    μi|j=μi+ΣijΣ−1jj(xj−μj)
    Σi|j=Σjj−ΣTijΣ−1iiΣij

深入浅出：边缘概率、联合概率、条件概率与朴素贝叶斯详解
12-27
边缘概率、联合概率和条件概率是概率论与统计学中的基础概念，而朴素贝叶斯算法则是一种在机器学习中广泛使用的基于概率的分类算法。边缘概率是指事件发生的概率，即某一事件的独立概率，不考虑其他因素。例如，抛...
概率论笔记：高斯分布的条件概率
qq_40206371的博客
11-04 3957
1 符号说明 将变量、均值和方差进行划分（xa是m维的，xb是n维的）： 其中x满足N(μ,Σ），μ,Σ满足： 条件概率就是需要求解P(xa|xb)和P(xb|xa) 2 需要用到的定理 2.1 定理的说明 这个证明不严谨，但是方便说明 3 舒尔补 4 计算条件概率 条件概率再高斯过程回归中需要用到 机器学习笔记：高斯过程_UQI-LIUWJ的博客-CSDN博客 我们首先计算的分布，根据2的定理有： 现在可以得到。根据与的关系可以得到的...
机器学习笔记之高斯分布(五)推断任务之边缘概率分布与条件概率分布
静静的学习就好
11-21 1501
上一节介绍了高斯分布概率模型相关的推断问题，并详细介绍了给定联合概率分布求解条件概率分布。本节将继续介绍推断任务——基于随机变量之间存在线性关系的条件下，求解条件概率与边缘概率。
机器学习 - 需要了解的条件概率、高斯分布、似然函数
最新发布
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
02-07 981
似然函数是连接数据与参数的桥梁，通过“数据反推参数”的逆向思维，成为统计推断的核心工具。理解它的关键在于区分“参数固定时数据的概率”与“数据固定时参数的合理性”，这种视角转换是掌握现代统计学和机器学习的基础。
深入理解边缘高斯分布与条件高斯分布
新型多传感器导航融合算法及基于贝叶斯框架下自适应鲁棒滤波
01-23 2418
多元高斯分布在统计学和机器学习领域中扮演着关键的角色。在这个分布的框架下，我们经常会遇到边缘高斯分布和条件高斯分布，它们分别涉及了从原始分布中选择一部分变量和在已知条件下计算其他变量的概率分布。本文将深入研究这两个概念，探讨它们的核心思想、数学表示以及在实际问题中的应用。
高斯分布与边缘化
aipiano
01-09 2882
高斯分布的表示 高斯分布有两种表达方式 协方差矩阵+均值 信息矩阵+信息矢量 协方差矩阵+均值的方式比较常见，如下 p(x)=ηexp⁡{−12(x−μ)TΣ−1(x−μ)} p(x)=\eta \exp\{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\} p(x)=ηexp{−21​(x−μ)TΣ−1(x−μ)} 其中对称正定矩阵Σ\SigmaΣ为随机变量x...
高斯分布数学性质及推导（二）：如何证明高斯分布的边缘概率和条件概率公式
Weiwei_xu_g的博客
09-01 3832
上一讲对高维高斯概率分布N(μ,∑)\mathcal{N}(\mu,\sum)N(μ,∑)在定义域上积分为1进行了证明，这一讲来推导高斯分布的边缘概率和条件概率公式。推导过程与PRML一书类似，但对细节进行了展开介绍。随后介绍如何利用高斯随机变量的线性组合公式进行推导。高维高斯分布N(μ,∑)\mathcal{N}(\mu,\sum)N(μ,∑)的具体公式可写为： N(μ,∑)=1(2π)N2∣∑...
概率论基础知识——学习概率的必备知识
05-13
联合分布描述了所有变量取值的概率，边缘分布是单个变量的分布，而条件分布则是已知其他变量的情况下，某个变量的分布。 在概率论中，独立事件是指两个事件的发生互不影响。两个随机变量独立意味着它们的联合分布...
gaussian.m_高斯滤波_高斯滤波器_图像去噪_
09-30
高斯滤波器得名于其核函数——高斯函数，它是一个连续的概率密度函数，具有良好的数学特性。在图像处理中，高斯滤波器通过计算图像中每个像素与其周围像素的加权平均值来平滑图像，权重由高斯函数决定。高斯函数的...
PM_粗糙面_线性滤波法模拟一维高斯分布的随机粗糙平面_一维高斯滤波.zip
10-11
线性滤波分为两种主要类型：最近邻插值、双线性插值等，但在这里我们更关注的是线性滤波如何与高斯分布相结合。 一维高斯滤波是一种特殊的线性滤波方式，其权重系数按照高斯函数进行分配。这种滤波器在处理一维数据...
多元高斯分布的边际分布与条件分布
03-30
MCMC算法--Gibbs采样2：多元高斯分布的边际分布与条件分布
模式识别与机器学习--- 3.3.1条件高斯分布
weixin_34210740的博客
03-09 608
多元高斯分布的一个重要性质是如果两个变量集是联合高斯分布，那么其中一个基于另一个变量集上的条件分布仍然是高斯分布。边缘高斯分布也有类似结论。 考虑第一种情形的条件高斯分布。假设X是一个满足高斯分布的D维向量，我们把X分作两个子集Xa和Xb。不失一般性，我们记Xa为X的前M个元素，Xb为剩下D-M个元素，即 我们还定义期望向量的分块 及协方差矩阵的分块 ...
概率论笔记：高斯分布的边缘概率
qq_40206371的博客
11-04 1048
1 符号说明 将变量、均值和方差进行划分（xa是m维的，xb是n维的）： 其中x满足N(μ,Σ），μ,Σ满足： 边缘概率就是需要求解P(xa)和P(xb) 2 需要用到的定理 2.1 定理的说明 这个证明不严谨，但是方便说明 3 边缘概率求解 我们以P(xa)为例： xa可以如下构造： 那么根据2中的定理，有： 所以 同理，有 参考内容：机器学习-白板推导系列笔记（二）-数学基础_scu-liu的博客-CSDN博客 ...
机器学习数学公式推导之高斯分布
QuantumYou的博客
08-31 1582
文章目录1、介绍引入1.1 频率派的观点1.2 贝叶斯派的观点1.3 小结2、数学基础2.1 二阶中心矩2.2 样本方差2.3 高斯分布2.3.1 一维情况 MLE2.3.2 多维情况 1、介绍引入 在统计学和概率论中，P(x∣k)P(x|k)P(x∣k) 通常表示在给定条件 kkk 下，事件 xxx 发生的条件概率。条件概率是描述两个或多个事件之间关系的概率，其中一个事件的发生依赖于另一个事件的发生。 具体来说，P(x∣k)P(x|k)P(x∣k) 的定义是：在事件 kkk 已经发生的条件下，事件
PRML学习笔记-条件高斯分布与边缘高斯分布的常用性质
qq_37394299的博客
11-14 1258
条件高斯分布与边缘高斯分布的常用性质 基本知识 多元高斯分布的一个重要性质是,如果两组变量是联合高斯分布,那么以一组变量为条件,另一组变量同样是高斯分布。类似地,任何一个变量的边缘分布也是高斯分布。 首先考虑条件概率的情形。假设 x 是一个服从高斯分布 N(x∣μ,Σ)\mathcal{N}(\boldsymbol{x} | \boldsymbol{\mu}, \mathbf{\Sigma})N(...
多元高斯分布求边缘概率，条件概率，联合概率
NP_hard的博客
04-23 1589
文章目录多元高斯分布直观理解求边缘概率，条件概率求联合概率 多元高斯分布直观理解 求边缘概率，条件概率 求联合概率
CS229《机器学习》笔记 | 多元高斯分布的边缘分布和条件分布
X的博客
12-15 8566
吴恩达的《机器学习（CS229）》Lecture note 9（Part X Factor analysis）中提及了多元高斯分布的边缘分布和条件分布，指出这两者本身亦是高斯分布，但没有给出详细的证明。我自己尝试着推导，但不得要领，直到上网搜索后才恍然大悟。现将该证明过程记录于此，关键在于对协方差矩阵进行LDU分解。 边缘分布 一个多元概率分布的部分元所服从的概率分布即边缘分布，通过将剩余元求...
多元高斯分布的边缘概率和条件概率
weixin_30825199的博客
04-03 779
0. 多元高斯分布 假定一个 n 维的随机变量 x=[x1x2]∼N(μ,Σ)，其中 x1,x2 的维度分别是 p 和 q（也即 p+q=n），μ=[μ1μ2]，Σ=[Σ11Σ21Σ12Σ22]（Σ=ΣT,Σ21=ΣT21）， 1. 边缘分布 x1,x2 各自依然服从 μi，写反差矩阵 Σii 的多元高斯分布； 2. 条件概率分布 给定 xj 求...
高斯混合 贝叶斯 最大后验概率
01-17
### 高斯混合模型 高斯混合模型 (Gaussian Mixture Model, GMM) 是一种基于概率的聚类算法，用于表示数据点来自多个不同的正态分布。该模型假设观测到的数据是由若干个高斯分量组成，每个分量代表一类潜在类别。 #### 数学表达 设 \( \mathbf{x}=(x_1,x_2,\ldots,x_n)^T \) 表示一组 n 维特征向量，则 K 个成分的 GMM 可以定义为： \[ p(\mathbf{x})=\sum_{k=1}^{K}\pi_k\mathcal{N}(x|\mu_k,\Sigma_k), \] 其中 \( \pi_k \) 称作第 k 类别的混合系数；\( \mathcal{N}(x|\mu_k,\Sigma_k) \) 表示均值为 μ 和协方差矩阵 Σ 的多元高斯密度函数[^1]。 ```python from sklearn.mixture import GaussianMixture gmm = GaussianMixture(n_components=3) gmm.fit(X_train) labels = gmm.predict(X_test) ``` ### 贝叶斯定理 贝叶斯定理由英国数学家托马斯·贝叶斯提出，在统计推断领域占据重要地位。其核心思想是在给定新证据的情况下更新事件发生的可能性大小。公式如下所示: \[ P(A|B)=\frac{P(B|A)\cdot P(A)}{P(B)}, \] 这里 A 和 B 分别指代两个随机变量; P(A) 和 P(B) 分别称为边缘概率或先验概率; P(B|A) 则被称为条件概率或者似然度;而最终得到的结果 P(A|B)，即后验概率反映了当已知某些事实之后我们对于未知事物的新认识程度[^2]。 ### 最大后验概率(MAP) 最大后验估计(Maximum a Posteriori Estimation, MAP) 结合了极大似然估计(ML)的思想与贝叶斯理论中的先验信息。它不仅考虑了样本本身所提供的信息，还加入了对参数本身的主观判断——也就是所谓的“先验”。 在实践中，通常会设定一个合理的先验分布形式并调整超参使其更贴近实际情况。相比 ML 方法而言，这种方法能够有效防止过拟合并提高泛化能力。具体实现上就是寻找使得联合概率最大的那组参数θ* : \[ \theta^*=\arg\max_\theta[P(D|\theta)\times P(\theta)] \] 此处 D 表示训练集内所有实例构成的整体输入输出序列集合；后者则是针对待估测对象所指定的一个适当类型的概率质量/密度函数。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值