先验概率和后验概率那点事儿

前几天因为要写粒子滤波相关的文章，而里面的公式让我写理论总结的时候都想哭。然而大部分粒子滤波的程序写的都比较简单明了，我也不知道是不是根本程序就没按照理论来实现。主要是里面的概率论公式，尤其以什么先验概率、后验概率那几个东东在那里折腾来折腾去，真心想问一句烦不烦啊……搜了一些东西，我相信绝大多数人对概率这个东西的理解都是模糊不清的，因为它本身就是一个不确定性的……（就像云里雾里的 云计算和物联网一样）刚好最近在看Game Theory，对经济学也有点兴趣，所以越发感觉概率这玩意深不可测……脑细胞、神经元什么的不够用……

对上帝来说，一切都是确定的，因此概率作为一门学问存在，正好证明了人类的无知。好在人类还是足够聪明的，我们并没有因为事物是随机的而束手无措，我们根据事物的可能性来决定我们的行为。比如，某个人抢银行之前，一定反反复复考虑过各种可能性。如果人们要等到一切都确定后再做，那么你可能什么都做不了，因为几乎一切都是随机的。

    一个事情有N种发生的可能性，我们不能确信哪种会发生，是因为我们不能控制结果的发生，影响结果的许多因素不在我们的支配范围之内，这些因素影响结果的机理或者我们不知道，或者太复杂以至于超出了我们大脑或电脑的运算能力。比如：我们不确定掷硬币得到正面或反面，是因为我们的能力不足以用一些物理方程来求解这个结果。再比如：你不能断定你期末能考88分，因为出题、阅卷的不是你。

过去发生的事情虽然事实上是确定的，但因为我们的无知，它成了随机的。我们在某个地方挖出了一块瓷器的碎片，它可能是孔子的夜壶，可能是秦始皇的餐具，也可能是林校长家的破茶壶从他家到垃圾站又被埋在了这个地方。

因此：概率在实质上就是无知，而不是说事物本身是随机的。

你拿着一把锄头在操场上乱挖，忽然发现一个暗室。里面是什么情景呢？应该说一切皆有可能。你根据你的大脑已储存的东西能做出一些可能性判断，有些可能性高，如“里面是黑的”。有些可能性低：如发现“本拉登在这里打麻将”。有无限的可能性，也可能藏着一个杀人犯，也可能有毒蛇，……。你对每种场景的可能性认识就是概率分布P(Ai)。这样的概率就是先验概率。

你是否能听到狗叫也是随机的，你对此的概率判断P(y), (y表示会听到狗叫）也是先验判断。如果接下来你确实听见了狗叫，你对洞中情形虽然也不确定，但肯定会有新的判断：“本拉登边吃狗肉边打麻将”、“几个狗在打麻将”、“一只狗想念另一只狗，在这里放录音”……。这些场景先前当然你也想到过（是某个Ai之一），不过现在“听到狗叫”后，你的概率判断发生了变化，你现在的判断就叫后验概率P(Ai|y)。

先验概率与后验概率

事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. 
事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率.

一、先验概率是指根据以往经验和分析得到的概率，如全概率公式，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，如贝叶斯公式中的，是“执果寻因”问题中的“因”。先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为基础。

二、A prior probability is a marginal probability, interpreted as a description of what is known about a variable in the absence of some evidence. The posterior probability is then the conditional probability of the variable taking the evidence into account. The posterior probability is computed from the prior and the likelihood function via Bayes' theorem.

先验概率是指根据以往经验和分析得到的概率，如全概率公式 中的，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的“因” 。

后验概率是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。

先验概率和后验概率是相对的。如果以后还有新的信息引入，更新了现在所谓的后验概率，得到了新的概率值，那么这个新的概率值被称为后验概率。

关于“抛硬币”试验的概率问题。

问题是这样的：1、多次抛硬币首先是一个贝努利试验，独立同分布的

2、每次抛硬币出现正、反面的概率都是1/2

3、当然硬币是均匀同分布的，而且每次试验都是公正的

4、在上述假设下，假如我连续抛了很多次，例如100次，出现的都是正面，当然，稍懂概率的人都知道，这是一个小概率事件，但是小概率事件是可能发生的。我要问你，下次也就是我抛第101次，出现正、反的概率是不是相等。我认为是不相等的，出现反面的概率要大于正面。我的理由是，诸如“抛硬币”等独立同分布试验都有无数人试验过，而且次数足够多时，正、反面出现的概率应该是逼近1/2的。也就是说，这个过程，即使是独立同分布的试验它也是有概率的。

5、提出这个问题之后，我请教了很多同学和老师，大部分同学一开始都是乍一听这个问题，马上对我的观点提出批判，给我列条件概率的公式，举出种种理由，不过都被我推翻了很巧的是，没几天，我在图书馆过期期刊阅览室找到一篇关于独立同分布的newman定理推广到markov链过程的文章，见97年《应用统计研究》，我看不大懂，复印了下来，去请教我们系数理统计方面比较权威的老师，他的答复我基本满意。他将数理统计可以分为两大类：频率统计学派和贝叶斯统计学派。

目前，国内的数理统计主要是频率统计。又给我分析了什么是先验概率，先验概率和条件概率有什么区别，他认为：在“抛硬币”试验当中，硬币的均匀分布和抛的公正是先验条件或先验概率，但是抛100次正面却是条件概率，接着他又解释了概率的记忆功能，他讲当贝努利试验次数不够大的时候，它不具有记忆功能，次数足够大的时候，也就是服从二项分布时，具有记忆功能。这时，连续抛很多次正面就可以算作是先验概率。但这样，我又不懂了。我认为，即使只刚抛过1次，如果考虑这个过程的话，对第二次的结果也应该是有影响的，你们认为呢？这个问题，这位老师也没能解释好。

研究这个问题的启示或者意义：

1、推翻了一些东西，可能很大，也可能是我牛角尖钻的太深了

2、一个试验，我在一间屋子里做“抛硬币”的试验，我“一不小心”连续抛出了100次正面，这里请你不要怀疑硬币质地的均匀和我抛法的不公正，这时，你推门进了实验室，我和你打赌，下次抛硬币会出现反面，给你很高的赌注。因为我知道我已经抛了100次正面，在这个过程中正反面出现的概率是要往1：1均衡的。但是我不会告诉你，我已经连续抛了100次正面。你当然认为正反面出现的概率是1：1，而且你的理论依据也是正确的。但是，你的正确的理论可能会使你输钱的。

3、研究这个问题，我是想提出两个问题：其一，正确的理论可能得不出正确的结果，其二，信息的不对称问题。 验前概率就是通常说的概率，验后概率是一种条件概率，但条件概率不一定是验后概率。贝叶斯公式是由验前概率求验后概率的公式。举一个简单的例子：一口袋里有3只红球、2只白球，采用不放回方式摸取，求：⑴ 第一次摸到红球（记作A）的概率；⑵ 第二次摸到红球（记作B）的概率；⑶ 已知第二次摸到了红球，求第一次摸到的是红球的概率。解：⑴ P(A)=3/5，这就是验前概率；⑵ P(B)=P(A)P(B|A)+P(A逆)P(B|A逆)=3/5⑶ P(A|B)=P(A)P(B|A)/P(B)=1/2，这就是验后概率。

一道经典概率题的终极解法——后验事实与先验概率的关系
经典题目：
有三个门，里面有一个里有汽车，如果选对了就可以得到这辆车，当应试者选定一个门之后，主持人打开了另外一个门，空的。问应试者要不要换一个选择。假设主持人知道车所在的那个门。
经典解法：
第一次选择正确的概率是1/3，因此汽车在另外两个门里的概率是2/3。主持人指出一个门，如果你开始选错了(2/3概率)，则剩下的那个门里100%有汽车；如果你第一次选对(1/3)了，剩下那个门里100%没汽车。
所以主持人提示之后，你不换的话正确概率是1/3*100%+2/3*0=1/3，你换的话正确概率是1/3*0+2/3*100%=2/3。
对于这个解法的诘问就在于，现在主持人已经打开一个空门了（而且主持人是有意打开这个门的），在这一“信息” 出现后，还能说当初选错的概率是2/3吗？这一后验事实不会改变我们对于先验概率的看法吗？答案是会的。更具体地说，主持人打开一扇门后，对当初选择错误的概率估计不一定等于2/3。
从头说起。假设我选了B门，假设主持人打开了C门，那么他在什么情况下会打开C门呢？
若A有车（先验概率P=1/3），那主持人100%打开C门（他显然不会打开B）；
若B有车（先验概率P=1/3），那此时主持人有A和C两个选择，假设他以K的概率打开C（一般K=1/2，但我们暂把它设成变量）；
若C有车（先验概率P=1/3），那主持人打开C的概率为0（只要他不傻。。。）
已知他打开了C，那根据贝叶斯公式——这里P（M|N）表示N事件发生时M事件发生的概率：


P（B有车|C打开）= P（C打开|B有车）* p（B有车）/ P（C打开）
 
P（C打开|B有车）* p（B有车）
= P（C打开|A有车）* p（A有车）+ P（C打开|B有车）* p（B有车）
K * 1/3
= 1 * 1/3 + K * 1/3
K
= -------
K + 1
该值何时等于1/3 呢（也就是经典解法里的假设）？ 只有 K=1/2 时。也就是一般情况下。但如果主持人有偏好，比方说他就是喜欢打开右边的门（假设C在右边），设K=3/4， 那么B有车的概率就变成了 3/5，不再是1/3，后验事实改变了先验概率的估计！
但这并不改变正确的选择，我们仍然应该改选A门， 解释如下：
P（A有车|C打开）= P（C打开|A有车）* p（A有车）/P（C打开）
P（C打开|A有车）* p（A有车）
= ------------------------------------------------------------
P（C打开|A有车）* p（A有车）+ P（C打开|B有车）* p（B有车）
 
= 1 * 1/3/1 * 1/3 + K * 1/3
 
=1/k+1
而K < 1（假设主持人没有极端到非C不选的程度），所以永远有 P(B有车|C打开) < P( A有车|C打开).A有车的概率永远比B大，我们还是应该改变选择。