先验概率与后验概率及贝叶斯公式

转自：http://blog.csdn.net/passball/article/details/5859878

先验概率与后验概率

事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. 
事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率.

一、先验概率是指根据以往经验和分析得到的概率，如全概率公式，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，如贝叶斯公式中的，是“执果寻因”问题中的“因”。先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为基础。

二、A prior probability is a marginal probability, interpreted as a description of what is known about a variable in the absence of some evidence. The posterior probability is then the conditional probability of the variable taking the evidence into account. The posterior probability is computed from the prior and the likelihood function via Bayes' theorem.

三、先验概率与后验概率通俗释义

事情有N种发生的可能，我们不能控制结果的发生，或者影响结果的机理是我们不知道或是太复杂超过我们的运算能力。新发一个物种，到底是猫,还是小老虎呢（朱道元的经典例子）？是由于我们的无知才不能确定判断。

先验概率 ( Prior probability)

先验概率是在缺乏某个事实的情况下描述一个变量；而后验概率是在考虑了一个事实之后的条件概率。先验概率通常是经验丰富的专家的纯主观的估计。比如在法国大选中女候选罗雅尔的支持率 p,在进行民意调查之前, 可以先验概率来表达这个不确定性。

后验概率 ( posterior probability)

 Probability of outcomes of an experiment after it has been performed and a certain event has occured.

后验概率可以根据通过贝叶斯公式，用先验概率和似然函数计算出来。

四、一道经典概率题的终极解法——后验事实与先验概率的关系

经典题目：

有三个门，里面有一个里有汽车，如果选对了就可以得到这辆车，当应试者选定一个门之后，主持人打开了另外一个门，空的。问应试者要不要换一个选择。假设主持人知道车所在的那个门。

经典解法：

第一次选择正确的概率是1/3，因此汽车在另外两个门里的概率是2/3。主持人指出一个门，如果你开始选错了(2/3概率)，则剩下的那个门里100%有汽车；如果你第一次选对(1/3)了，剩下那个门里100%没汽车。
所以主持人提示之后，你不换的话正确概率是1/3*100%+2/3*0=1/3，你换的话正确概率是1/3*0+2/3*100%=2/3。

对于这个解法的诘问就在于，现在主持人已经打开一个空门了（而且主持人是有意打开这个门的），在这一“信息” 出现后，还能说当初选错的概率是2/3吗？这一后验事实不会改变我们对于先验概率的看法吗？答案是会的。更具体地说，主持人打开一扇门后，对当初选择错误的概率估计不一定等于2/3。

从头说起。假设我选了B门，假设主持人打开了C门，那么他在什么情况下会打开C门呢？
若A有车（先验概率P=1/3），那主持人100%打开C门（他显然不会打开B）；
若B有车（先验概率P=1/3），那此时主持人有A和C两个选择，假设他以K的概率打开C（一般K=1/2，但我们暂把它设成变量）；
若C有车（先验概率P=1/3），那主持人打开C的概率为0（只要他不傻。。。）

已知他打开了C，那根据贝叶斯公式——这里P（M|N）表示N事件发生时M事件发生的概率：

P（B有车|C打开）= P（C打开|B有车）* p（B有车）/ P（C打开）

 

P（C打开|B有车）* p（B有车）

= P（C打开|A有车）* p（A有车）+ P（C打开|B有车）* p（B有车）

K * 1/3

= 1 * 1/3 + K * 1/3

K

= -------

K + 1
该值何时等于1/3 呢（也就是经典解法里的假设）？ 只有 K=1/2 时。也就是一般情况下。但如果主持人有偏好，比方说他就是喜欢打开右边的门（假设C在右边），设K=3/4， 那么B有车的概率就变成了 3/5，不再是1/3，后验事实改变了先验概率的估计！

但这并不改变正确的选择，我们仍然应该改选A门， 解释如下：

P（A有车|C打开）= P（C打开|A有车）* p（A有车）/P（C打开）

P（C打开|A有车）* p（A有车）

= ------------------------------------------------------------

P（C打开|A有车）* p（A有车）+ P（C打开|B有车）* p（B有车）

 

= 1 * 1/3/1 * 1/3 + K * 1/3

 

=1/k+1

而K < 1（假设主持人没有极端到非C不选的程度），所以永远有 P(B有车|C打开) < P( A有车|C打开).A有车的概率永远比B大，我们还是应该改变选择。

转自：http://blog.csdn.net/tianguokaka/article/details/7704036

比较有意思的文章

http://hi.baidu.com/hi9394/blog/item/7e5132638102aa760c33faf2.html

先验概率、后验概率与似然估计

本文假设大家都知道什么叫条件概率了（P(A|B)表示在B事件发生的情况下，A事件发生的概率）。

先验概率和后验概率
教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。

假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。

堵车的概率就是先验概率 。

那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率 。也就是P(堵车|交通事故)。这是有因求果。

如果我们已经出了门，然后遇到了堵车，那么我们想算一下堵车时由交通事故引起的概率有多大，

那这个就叫做后验概率 （也是条件概率，但是通常习惯这么说）。也就是P(交通事故|堵车)。这是有果求因。

下面的定义摘自百度百科：

先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现.

后验概率是指依据得到"结果"信息所计算出的最有可能是那种事件发生,如贝叶斯公式中的,是"执果寻因"问题中的"因".

那么这两个概念有什么用呢？

最大似然估计
我们来看一个例子。

有一天，有个病人到医院看病。他告诉医生说自己头痛，然后医生根据自己的经验判断出他是感冒了，然后给他开了些药回去吃。

有人肯定要问了，这个例子看起来跟我们要讲的最大似然估计有啥关系啊。

关系可大了，事实上医生在不知不觉中就用到了最大似然估计（虽然有点牵强，但大家就勉为其难地接受吧^_^）。

怎么说呢？

大家知道，头痛的原因有很多种啊，比如感冒，中风，脑溢血...（脑残>_<这个我可不知道会不会头痛，还有那些看到难题就头痛的病人也不在讨论范围啊！）。

那么医生凭什么说那个病人就是感冒呢？哦，医生说这是我从医多年的经验啊。

咱们从概率的角度来研究一下这个问题。

其实医生的大脑是这么工作的，

他计算了一下

P(感冒|头痛)（头痛由感冒引起的概率，下面类似）

P(中风|头痛)

P(脑溢血|头痛)

...

然后这个计算机大脑发现，P(感冒|头痛)是最大的，因此就认为呢，病人是感冒了。看到了吗？这个就叫最大似然估计（Maximum likelihood estimation，MLE） 。

咱们再思考一下，P(感冒|头痛)，P(中风|头痛)，P(脑溢血|头痛)是先验概率还是后验概率呢？

没错，就是后验概率。看到了吧，后验概率可以用来看病（只要你算得出来，呵呵）。

事实上，后验概率起了这样一个用途，根据一些发生的事实（通常是坏的结果），分析结果产生的最可能的原因，然后才能有针对性地去解决问题。

那么先验概率有啥用呢？

我们来思考一下，P(脑残|头痛)是怎么算的。

P(脑残|头痛)=头痛的人中脑残的人数/头痛的人数

头痛的样本倒好找，但是头痛的人中脑残的人数就不好调查了吧。如果你去问一个头痛的人你是不是脑残了，我估计那人会把你拍飞吧。

接下来先验概率就派上用场了。

根据贝叶斯公式 ，

P(B|A)=P(A|B)P(B)/P(A)

我们可以知道

P(脑残|头痛)=P(头痛|脑残)P(脑残)/P(头痛)

注意，(头痛|脑残)是后验概率（原文写的是先验概率，应该有误），那么利用贝叶斯公式我们就可以利用先验概率把后验概率算出来了。

P(头痛|脑残)=脑残的人中头痛的人数/脑残的人数

这样只需要我们去问脑残的人你头痛吗，明显很安全了。

（你说脑残的人数怎么来的啊，那我们就假设我们手上有一份传说中的脑残名单吧。那份同学不要吵，我没说你在名单上啊。

再说调查脑残人数的话咱就没必要抓着一个头痛的人问了。起码问一个心情好的人是否脑残比问一个头痛的人安全得多）

我承认上面的例子很牵强，不过主要是为了表达一个意思。后验概率在实际中一般是很难直接计算出来的，相反先验概率就容易多了。因此一般会利用先验概率来计算后验概率。

似然函数与最大似然估计

下面给出似然函数跟最大似然估计的定义。

我们假设f是一个概率密度函数，那么

 
是一个条件概率密度函数（θ 是固定的）

而反过来，

 
叫做似然函数 （x是固定的）。

一般把似然函数写成

 
θ是因变量。

而最大似然估计 就是求在θ的定义域中，当似然函数取得最大值时θ的大小。

意思就是呢，当后验概率最大时θ的大小。也就是说要求最有可能的原因。

由于对数函数不会改变大小关系，有时候会将似然函数求一下对数，方便计算。

例子：

我们假设有三种硬币，他们扔到正面的概率分别是1/3，1/2，2/3。我们手上有一个硬币，但是我们并不知道这是哪一种。因此我们做了一下实验，我们扔了80次，有49次正面，31次背面。那么这个硬币最可能是哪种呢？我们动手来算一下。这里θ的定义域是{1/3，1/2，2/3}

 

当p=2/3时，似然函数的值最大，因此呢，这个硬币很可能是2/3。