先验概率与后验概率

转载 2018年04月15日 15:01:04
先验(A priori;又译:先天)在拉丁文中指“来自先前的东西”,或稍稍引申指“在经验之前”。近代西方传统中,认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较,后验意指“在经验之后”,需要经验。这一区分来自于中世纪逻辑所区分的两种论证,从原因到结果的论证称为“先验的”,而从结果到原因的论证称为“后验的”。

先验概率是指根据以往经验和分析得到的概率,如全概率公式 中的,它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率,是“执果寻因”问题中的“因” 。

后验概率是基于新的信息,修正原来的先验概率后所获得的更接近实际情况的概率估计。

先验概率和后验概率是相对的。如果以后还有新的信息引入,更新了现在所谓的后验概率,得到了新的概率值,那么这个新的概率值被称为后验概率。先验概率的分类:利用过去历史资料计算得到的先验概率,称为客观先验概率; 当历史资料无从取得或资料不完全时,凭人们的主观经验来判断而得到的先验概率,称为主观先验概率。

后验概率是指通过调查或其它方式获取新的附加信息,利用贝叶斯公式对先验概率进行修正,而后得到的概率。先验概率和后验概率的区别:先验概率不是根据有关自然状态的全部资料测定的,而只是利用现有的材料(主要是历史资料)计算的;后验概率使用了有关自然状态更加全面的资料,既有先验概率资料,也有补充资料;  

先验概率的计算比较简单,没有使用贝叶斯公式;

而后验概率的计算,要使用贝叶斯公式,而且在利用样本资料计算逻辑概率时,还要使用理论概率分布,需要更多的数理统计知识。

下面转自其他博客先验概率与后验概率"概率就是无知, 而不是事务本身是随机的". 事情有N种发生的可能,我们不能控制结果的发生,或者影响结果的机理是我们不知道或是太复杂超过我们的运算能力. 新发一个物种, 到底是猫,还是小老虎呢(朱道元的经典例子)? 是由于我们的无知才不能确定判断.

先验概率 ( Prior probability)先验概率是在缺乏某个事实的情况下描述一个变量; 而后验概率是在考虑了一个事实之后的条件概率. 先验概率通常是经验丰富的专家的纯主观的估计. 比如在法国大选中女候选罗雅尔的支持率 p, 在进行民意调查之前, 可以先验概率来表达这个不确定性. 后验概率 ( posterior probability) Def: Probability of outcomes of an experiment after it has been performed and a certain event has occured. 后验概率可以根据通过Bayes定理, 用先验概率和似然函数计算出来.

下面的公式就是用先验概率密度乘上似然函数,接着进行归一化, 得到不定量X在Y=y的条件下的密度,即后验概率密度: 其中fX(x) 为X的先验密度,LX | Y = y(x) = fY | X = x(y) 为似然函数..

看了很多张五常的文章以后,思考一些经济学或者统计学的问题,都试着从最简单处入手。

一次,在听一位英国帝国理工大学的教授来我们学校讲学,讲的主要是经济计量学的建模,以及一些具体应用实例,没想到听报告过程中,一直在思考一道最简单的概率问题。关于“抛硬币”试验的概率问题。

问题是这样的:1、多次抛硬币首先是一个贝努利试验,独立同分布的

2、每次抛硬币出现正、反面的概率都是1/2

3、当然硬币是均匀同分布的,而且每次试验都是公正的

4、在上述假设下,假如我连续抛了很多次,例如100次,出现的都是正面,当然,稍懂概率的人都知道,这是一个小概率事件,但是小概率事件是可能发生的。我要问你,下次也就是我抛第101次,出现正、反的概率是不是相等。我认为是不相等的,出现反面的概率要大于正面。我的理由是,诸如“抛硬币”等独立同分布试验都有无数人试验过,而且次数足够多时,正、反面出现的概率应该是逼近1/2的。也就是说,这个过程,即使是独立同分布的试验它也是有概率的。

5、提出这个问题之后,我请教了很多同学和老师,大部分同学一开始都是乍一听这个问题,马上对我的观点提出批判,给我列条件概率的公式,举出种种理由,不过都被我推翻了很巧的是,没几天,我在图书馆过期期刊阅览室找到一篇关于独立同分布的newman定理推广到markov链过程的文章,见97年《应用统计研究》,我看不大懂,复印了下来,去请教我们系数理统计方面比较权威的老师,他的答复我基本满意。他将数理统计可以分为两大类:频率统计学派和贝叶斯统计学派。

目前,国内的数理统计主要是频率统计。又给我分析了什么是先验概率,先验概率和条件概率有什么区别,他认为:在“抛硬币”试验当中,硬币的均匀分布和抛的公正是先验条件或先验概率,但是抛100次正面却是条件概率,接着他又解释了概率的记忆功能,他讲当贝努利试验次数不够大的时候,它不具有记忆功能,次数足够大的时候,也就是服从二项分布时,具有记忆功能。这时,连续抛很多次正面就可以算作是先验概率。但这样,我又不懂了。我认为,即使只刚抛过1次,如果考虑这个过程的话,对第二次的结果也应该是有影响的,你们认为呢?这个问题,这位老师也没能解释好。

研究这个问题的启示或者意义:

1、推翻了一些东西,可能很大,也可能是我牛角尖钻的太深了

2、一个试验,我在一间屋子里做“抛硬币”的试验,我“一不小心”连续抛出了100次正面,这里请你不要怀疑硬币质地的均匀和我抛法的不公正,这时,你推门进了实验室,我和你打赌,下次抛硬币会出现反面,给你很高的赌注。因为我知道我已经抛了100次正面,在这个过程中正反面出现的概率是要往1:1均衡的。但是我不会告诉你,我已经连续抛了100次正面。你当然认为正反面出现的概率是1:1,而且你的理论依据也是正确的。但是,你的正确的理论可能会使你输钱的。

3、研究这个问题,我是想提出两个问题:其一,正确的理论可能得不出正确的结果,其二,信息的不对称问题。 验前概率就是通常说的概率,验后概率是一种条件概率,但条件概率不一定是验后概率。贝叶斯公式是由验前概率求验后概率的公式。举一个简单的例子:一口袋里有3只红球、2只白球,采用不放回方式摸取,求:⑴ 第一次摸到红球(记作A)的概率;⑵ 第二次摸到红球(记作B)的概率;⑶ 已知第二次摸到了红球,求第一次摸到的是红球的概率。解:⑴ P(A)=3/5,这就是验前概率;⑵ P(B)=P(A)P(B|A)+P(A逆)P(B|A逆)=3/5⑶ P(A|B)=P(A)P(B|A)/P(B)=1/2,这就是验后概率

机器学习之概率与统计推断

本课程讲解机器学习算法所需概率和统计推断知识。概率部分包括概率公理及推论、条件概率、贝叶斯公式、随机变量及其概率函数(CDF/pdf)、常用概率分布及其均值、方差;统计推断部分包括大数定律和中心极限定理、极大似然估计、贝叶斯估计,估计的评价、偏差-方差平衡。课程还会讲解假设检验的基本概念。
  • 2017年07月22日 11:29

机器学习知识点(二十七)先验概率和后验概率理解

对于统计学只是皮毛认识,在学校时根本不重视,如今机器学习几乎以统计学为基础发展起来的,头疼的紧,如今还得琢磨基础概念。 1、我自己的理解: 1)先验:统计历史上的经验而知当下发生的概率; 2)后...
  • fjssharpsword
  • fjssharpsword
  • 2017-05-17 08:50:37
  • 2844

贝叶斯:先验概率估算后验概率

" src="http://image.slidesharecdn.com/seahugnavebayes24042011v5-110502152529-phpapp01/95/classificat...
  • drbinzhao
  • drbinzhao
  • 2016-10-13 11:39:54
  • 923

机器学习:浅谈先验概率,后验概率

机器学习:浅谈先验概率,后验概率            在学习贝叶斯网络模型的时候,接触到好多比较麻烦的概念,今天又复习了一下,就写一下笔记,用来巩固一下。       主题模型LDA算法是自PLSA...
  • liyaohhh
  • liyaohhh
  • 2016-04-12 21:58:36
  • 8601

先验概率、后验概率、条件概率

今天看了 Larry Wasserman写的 All of Statistics中的第一章,第一章主要讲概率,其中最主要的就是贝叶斯公式。要了解贝叶斯公式,就得知道全概率公式: 通俗的讲,先验概...
  • cx1468059916
  • cx1468059916
  • 2014-11-24 21:00:10
  • 3788

一个关于先验概率、似然函数与后验概率计算的小例子

来先举一个例子: 如果有一所学校,有60%是男生和40%是女生。女生穿裤子与裙子的数量相同;所有男生穿裤子。一个观察者,随机从远处看到一名学生,观察者只能看到该学生穿裤子。那么该学生是女生的概率是多...
  • qy20115549
  • qy20115549
  • 2016-10-13 17:21:41
  • 1506

先验概率,似然函数和后验概率

一句话总结先验概率P,乘以似然函数L,正比于后验概率。Posterior∝Likelihood∗Prior Posterior \propto Likelihood * Prior 重点先验概率,后验...
  • jasonwayne
  • jasonwayne
  • 2016-07-05 00:30:17
  • 5910

先验概率与后验概率以及贝叶斯公式

先验概率与后验概率 事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. 事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率. 一、先验概率是指根据以往经验...
  • wtq1993
  • wtq1993
  • 2016-06-19 10:53:51
  • 650

【机器学习】先验概率、后验概率、贝叶斯公式、 似然函数

一、先验概率、后验概率、贝叶斯公式、 似然函数 在机器学习中,这些概念总会涉及到,但从来没有真正理解透彻他们之间的联系。下面打算好好从头捋一下这些概念,备忘。 1、先验概率 先验概率仅仅依赖于主...
  • SmellyKitty
  • SmellyKitty
  • 2015-10-14 20:04:36
  • 1780

先验概率,后验概率,似然概率,条件概率,贝叶斯,最大似然

总是搞混,这里总结一下常规的叫法: 先验概率: 事件发生前的预判概率。可以是基于历史数据的统计,可以由背景常识得出,也可以是人的主观观点给出。一般都是单独事件概率,如P(x),P(y)。 后验概...
  • suranxu007
  • suranxu007
  • 2015-12-16 13:48:22
  • 1043
收藏助手
不良信息举报
您举报文章:先验概率与后验概率
举报原因:
原因补充:

(最多只允许输入30个字)