先验、后验与似然

最新推荐文章于 2024-02-25 22:20:30 发布
最新推荐文章于 2024-02-25 22:20:30 发布
阅读量1.1k 收藏 14
点赞数 6
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43725910/article/details/126840792
版权

在学习SLAM 14讲第六章时，看到三个概念，有些不太了解，查阅资料后有了一些自己的理解。

三个概念存在于贝叶斯公式中

P(A|B)=\frac{P(B|A)\cdot P(A)}{P(B)}

P(A)表示先验概率Prior，P(A|B)表示后验概率posterior，P(B|A)表示似然likelihood

上式可以写为

Posterior=\frac{Likelihood\cdot Prior}{Evidence}

下面分别对三个概念进行描述

先验概率（Prior）

        先验概率可以理解为统计概率，是根据此前的经验统计总结出来的概率。

        如：假设事件A为下雨，根据该地区往年降雨量信息统计，P(A)=0.05。

后验概率（Posterior）由原因导出结果

        后验概率是结合某些结果信息修正之后的概率，表现为条件概率。

        如：补充事件B为阴天，结合当地降雨量数据，在阴天条件下下雨的概率P(A|B)=0.5。

似然概率（likelihood）由结果导出原因

        注重于表明结果与原因之间的逻辑关系，结果已经发生，什么原因造成这个结果的可能性最大。

        如：当地已经下雨了（事件A已经发生），什么原因造成下雨的可能性最大（阴天/晴天）。

在介绍完概念之后，结合SLAM 14讲进行分析

根据贝叶斯公式

P(x,y|u,z)=\frac{P(z,u|x,y)\cdot P(x,y)}{P(U,Z)}\propto P(z,u|x,y)\cdot P(x,y)

求解后验分布比较困难，可以求状态最优估计，使其后验概率最大化，即后验概率估计（MAP）

(x,y)_{MAP}^{*}=argmaxP(x,y|u,z)=argmax\left \{ P(z,u|x,y)\cdot P(x,y) \right \}

但在某些情况下可能不存在先验概率，只能求解最大似然估计（MLE）

(x,y)_{MAP}^{*}=argmaxP(z,u|x,y)

最大似然估计示例

        A堆里有99个白球、1个黑球，B堆里有1个白秋、99个黑球，如果抽到一个黑球，最有可能是从哪一堆里抽出来的？

P(A|black)=\frac{P(black|A)\cdot P(A)}{P(black)}=\frac{\frac{1}{100}\cdot \frac{1}{2}}{\frac{\frac{1}{2}}{}}=\frac{1}{100}

P(B|black)=\frac{P(black|B)\cdot P(B)}{P(black)}=\frac{\frac{99}{100}\cdot \frac{1}{2}}{\frac{\frac{1}{2}}{}}=\frac{99}{100}

        所以更有可能是从B堆中摸到黑球。

与SLAM课本中的知识类似，上述公式中P(A)=P(B)，

       所以P(A|black)与P(B|black)的大小由P(black|A)与P(black|B)决定。

按照文字解释就是：

 “结果发生后，探究哪个原因造成的可能性更大” 等价于 “哪个原因发生后，更容易造成这个结果”

        应注意：两句话中事情发生的先后顺序并不相同。

进一步的，考虑贝叶斯公式的另一种形式

P(A|B)\cdot P(B)=P(B|A)\cdot P(A)

        其实因与果并不重要，只是为了方便进行理解而做出的规定，在实际运用中，只要注意到A与B哪个是研究的主体，以及P(A|B)与P(B|A)是如何在最大似然估计中等价的即可。

Lec1erc_16
关注
  • 6
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
先验与后验
workerwu的专栏
09-27 7614
prior、posterior 和 likelihood 是贝叶斯统计模型的几个核心字眼， prior 和 posterior 都是关于参数的分布，prior 是我们所假设的参数本来的分布，而 posterior 则是在观察到训练数据之后得到的条件分布。而 likelihood 则完全不一样，一方面它是关于数据x 的，另一方面它没有被归一化，所以也并不是一个合法的概率分布。 任意一个未知量
最大似然估计与最大验后估计
11-27
最大似然估计与最大后验估计 最大似然估计（Maximum Likelihood Estimation，MLE）是一种统计学方法，用于估计模型参数。它的基本思想是：给定观察数据，找出使该数据出现的概率最大的模型参数。MLE 方法的优点是...
趣学贝叶斯定理：贝叶斯定理的先验概率、似然和后验概率(1)
Welcome to my homepage
02-25 1011
在第7章中，我们讨论了如何利用空间推理去推导贝叶斯定理。现在研究如何将贝叶斯定理当作一种概率工具，对不确定性进行逻辑推理。本章将利用贝叶斯定理来计算和量化在给定数据的情况下，信念有多大的可能性为真。为此，需要使用该定理的三要素——后验概率、似然和先验概率。这3个要素将在这场贝叶斯统计和概率探险之旅中频繁出现。
先验概率与后验概率的区别（老迷惑了）
OUYANG_LINUX007的专栏
05-14 6万+
先验（A priori；又译：先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较，后验意指“在经验之后”，需要经验。这一区分来自于中世纪逻辑所区分的两种论证，从原因到结果的论证称为“先验的”，而从结果到原因的论证称为“后验的”。 先验概率是指根据以往经验和分析得到的概率，如全概率公式 中的，它往往作
概率论：先验与后验与似然
goodmorning2014的博客
10-23 6438
1.我自己的理解       1.1 从时间角度理解：     a.先验：根据以往的经验或者常识，总结当前事情发生某种结果的概率，又或者说是没有根据当前的事实，而只是对以往理论的研究进行推导，类似于选举中，专家在没有对当前大选进行调查就直接通过以往历任候选人的特点来分析推导给出当前的某人A中选的概率。     b.后验：根据当前的事情的观察（证据、原因），推断分析当前事情发生某种结果的概率...
【机器学习】先验概率、后验概率、贝叶斯公式、 似然函数
SmellyKitty
10-14 7552
一、先验概率、后验概率、贝叶斯公式、 似然函数 在机器学习中，这些概念总会涉及到，但从来没有真正理解透彻他们之间的联系。下面打算好好从头捋一下这些概念，备忘。 1、先验概率 先验概率仅仅依赖于主观上的经验估计，也就是事先根据已有的知识的推断，先验概率就是没有经过实验验证的概率，根据已知进行的主观臆测。如抛一枚硬币，在抛之前，主观推断P（正面朝上） = 0.5。 2、后验概率 后验概率是指在
先验概率和后验概率理解
orDream的博客
12-21 2646
先验概率和后验概率理解 对于统计学只是皮毛认识，在学校时根本不重视，如今机器学习几乎以统计学为基础发展起来的，头疼的紧，如今还得琢磨基础概念。 1、我自己的理解： 1）先验：统计历史上的经验而知当下发生的概率； 2）后验：当下由因及果的概率； 2、网上有个例子说的透彻： 1）先验——根据若干年的统计（经验）或者气候（常识），某地方下雨的概率； 2）似然——下雨（果）的时候有乌云（因/证据/观察的数据）的概率，即已经有了果，对证据发生的可能性描述； 3）后验——根据天上有乌云（原因或者证据/观察数据），下雨（
【基础数学】先验、后验概率，似然，EM算法，ELBO(Evidence Lower Bound)，多变量条件概率公式(多变量贝叶斯公式)
devil_son1234的博客
10-17 3383
给定一个observation variable x(比如RGB图片)和latent variable z (比如是RGB图片经过encoder得到的latent feature)，假设我们想学习后验概率，但发现在实际中不易或不能求解，那么该如何求解这个后验概率？
先验、后验、经验与体验
人机与认知实验室
09-08 311
先验和后验是概率论和统计学中常用的两个概念，用于描述在获得新信息之前和之后的知识或信念的状态。先验概率是指在考虑其他信息之前，根据以往的经验、已有的知识或基础数据，对事件或假设的概率进行估计或猜测。它是主观的、基于预先的信念和先前的知识来定义的概率。后验概率则是在获得新的信息或证据后，更新先前的信念或估计得到的新的概率。后验概率是通过应用贝叶斯定理将先验概率与新的证据结合起来计算得到的，它考虑了新...
理解贝叶斯先验与后验1
08-03
用贝叶斯公式来表达，就是：P（瓜熟 | 已知蒂落）=P（瓜熟）× P（蒂落 | 瓜熟）/ P（蒂落）这其中，似然函数的意义就是根据已知结果去推测由某种原因（或者
最大似然估计与最大后验估计1
08-03
最大似然估计与最大后验估计是机器学习和统计学中两种重要的参数估计方法，用于确定模型中的未知参数。这两种方法都是为了找到使得数据出现概率最大的模型参数。 1. **似然函数**： 似然函数（Likelihood Function...
最大后验概率算法+MATLAB_MATLAB_Regularization_最大后验概率算法
07-14
最大后验概率估计可以看作是规则化（Regularization）的最大似然估计。
kingsen.zip_kingsen_最大似然法_最大似然法ML_最大后验 通信
07-13
《最大似然法与最大后验概率在通信中的应用》 在信息技术与通信领域，最大似然法（Maximum Likelihood, ML）和最大后验概率（Maximum A Posteriori, MAP）是两种至关重要的参数估计方法，它们在信号处理、滤波器...
先验，后验和似然
hydrophone的博客
06-24 9281
第一篇博客，随便写点正在看的东西，从简单的开始咯。 突然间发现，怎么这些经常看到的词汇我对他们并没有自己认为的那么了解，知道他是谁，却不知道怎么去区分和使用。本文主要介绍的就是这样让我总是分辨不清的三兄弟：先验、后验和似然。首先从概率上去认识，那么他们对应的分布啊，函数啊，以及衍生的其他就能更清楚地区分了。 在介绍各自区别之前，现在脑海中有这么两个概念：状态、参数（或者事件、结果）。
先验概率与后验概率
lecturekeke的专栏
01-12 184
先验概率 后验概率
先验、后验、似然
lnshmpu的博客
12-16 871
先验、后验、似然 假设一个鱼塘里有鲈鱼和鲑鱼若干条，那么钓上来的鱼的类别是随机的，有可能是鲈鱼，也可能是鲑鱼。我们设wj为鱼的种类，j=1为鲈鱼，j=2为鲑鱼。我们不仅关心钓的是什么鱼，还关系鱼的大小，假设鱼的大小为x。 先验 那么钓上来的鱼是鲈鱼或鲑鱼的概率分别为P(鲈鱼)和P(鲑鱼),这就是先验概率。只关注原因，无关结果。 后验 小军和小明一起去钓鱼，在小军上厕所的时候，小明...
先验 后验 似然估计
t20134297的博客
07-14 1026
对未知参数x的先验信息 用一个分布形式来表示，此分布称为未知参数的先验分布。 结果 是由 某个原因 导致的 概率 就是 后验概率。 似然估计是根据 原因 推测 该原因 导致 结果 发生 的概率。 ...
详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解
热门推荐
nebulaf91的博客
05-31 32万+
声明：本文为原创文章，发表于nebulaf91的csdn博客。欢迎转载，但请务必保留本信息，注明文章出处。 本文作者: nebulaf91 本文原始地址：最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很
Crypto_30_vHsm_Types.h
最新发布
07-09
Crypto_30_vHsm_Types
python实现先验分布与后验分布
03-31
先验分布（Prior Distribution）是指在考虑任何观测数据之前，对于未知参数的分布假设。它是基于先前的经验、理论或其他信息，对于未知参数的概率分布进行的猜测。在统计推断中，先验分布通常是由专家知识、历史数据或相关研究提供的。 后验分布（Posterior Distribution）是指在考虑观测数据后，对于未知参数的分布假设。它是在先验分布的基础上，根据观测数据的结果进行更新后得到的分布。在贝叶斯统计学中，后验分布是由先验分布和似然函数的乘积归一化得到的。 以下是一个简单的示例，演示如何使用Python实现先验分布和后验分布： 假设我们想要推断一枚硬币正面朝上的概率$p$。我们假设先验分布为伯努利分布，即$p \sim Ber(\theta)$，其中$\theta$是未知参数，我们假设$\theta = 0.5$。我们进行了$n$次试验，其中有$k$次正面朝上。我们可以使用Python来计算后验分布。 首先，我们需要导入所需的库： ```python import numpy as np import matplotlib.pyplot as plt ``` 然后，我们定义先验分布： ```python theta = 0.5 # 先验分布的参数 prior = np.array([theta, 1-theta]) # 先验分布 ``` 接下来，我们定义似然函数： ```python def likelihood(k, n, theta): return theta**k * (1-theta)**(n-k) ``` 然后，我们可以计算后验分布： ```python n = 10 # 试验次数 k = 7 # 正面朝上的次数 posterior = prior * likelihood(k, n, theta) # 后验分布 posterior = posterior / np.sum(posterior) # 归一化 ``` 最后，我们可以绘制先验分布和后验分布的图像： ```python x = np.array([0, 1]) plt.bar(x, prior, alpha=0.5, label='Prior') plt.bar(x, posterior, alpha=0.5, label='Posterior') plt.legend() plt.show() ``` 运行代码后，我们可以得到以下图像，显示出先验分布和后验分布的差异。 ![先验分布和后验分布的图像](https://i.loli.net/2021/08/12/7j1UmHJi5OeZSvR.png)

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值