概率，先验概率与后验概率（转载）

对上帝来说，一切都是确定的，因此概率作为一门学问存在，正好证明了人类的无知。好在人类还是足够聪明的，我们并没有因为事物是随机的而束手无措， 我们根据事物的可能性来决定我们的行为。比如，某个人抢银行之前，一定反反复复考虑过各种可能性。如果人们要等到一切都确定后再做，那么你可能什么都做不 了，因为几乎一切都是随机的。
一个事情有N种发生的可能性，我们不能确信哪种会发生，是因为我们不能控制结果的发生，影响结果的许多因素不在我们的支配范围之内，这些因素影响结果的机 理或者我们不知道，或者太复杂以至于超出了我们大脑或电脑的运算能力。比如：我们不确定掷硬币得到正面或反面，是因为我们的能力不足以用一些物理方程来求 解这个结果。再比如：你不能断定你期末能考88分，因为出题、阅卷的不是你。

过去发生的事情虽然事实上是确定的，但因为我们的无知，它成了随机的。我们在某个地方挖出了一块瓷器的碎片，它可能是孔子的夜壶，可能是秦始皇的餐具，也可能是林校长家的破茶壶从他家到垃圾站又被埋在了这个地方。

因此：概率在实质上就是无知，而不是说事物本身是随机的。

你拿着一把锄头在操场上乱挖，忽然发现一个暗室。里面是什么情景呢？应该说一切皆有可能。你根据你的大脑已储存的东西能做出一些可能性判断，有些可 能性高，如“里面是黑的”。有些可能性低：如发现“本拉登在这里打麻将”。有无限的可能性，也可能藏着一个杀人犯，也可能有毒蛇，……。你对每种场景的可 能性认识就是概率分布P(Ai)。这样的概率就是先验概率。

你是否能听到狗叫也是随机的，你对此的概率判断P(y), (y表示会听到狗叫）也是先验判断。

如果接下来你确实听见了狗叫，你对洞中情形虽然也不确定，但肯定会有新的判断：“本拉登边吃狗肉边打麻将”、“几个狗在打麻将”、“一只狗想念另一 只狗，在这里放录音”……。这些场景先前当然你也想到过（是某个Ai之一），不过现在“听到狗叫”后，你的概率判断发生了变化，你现在的判断就叫后验概率 P(Ai|y)。
====================================================

事情还没有发生,要求这件事情发生的可能性的大小,是先验概率.
事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率.

还有一篇博文，阐述的也很全面。

================================================

The hierarchical Bayes method is a topic in modern Bayesian analysis.^{[says who?]} It is a powerful tool for expressing rich statistical models that more fully reflect a given problem than a simpler model could.

Given data and parameters , a simple Bayesian analysis starts with a prior probability (prior) and likelihood to compute a posterior probability .

Often the prior on depends in turn on other parameters that are not mentioned in the likelihood. So, the prior must be replaced by a prior , and a prior on the newly introduced parameters is required, resulting in a posterior probability

This is the simplest example of a hierarchical Bayes model.^{[clarification needed]}

The process may be repeated; for example, the parameters may depend in turn on additional parameters , which will require their own prior. Eventually the process must terminate, with priors that do not depend on any other unmentioned parameters.

--------------------------------

Which bowl is the cookie from?

To illustrate, suppose there are two full bowls of cookies. Bowl #1 has 10 chocolate chip and 30 plain cookies, while bowl #2 has 20 of each. Our friend Fred picks a bowl at random, and then picks a cookie at random. We may assume there is no reason to believe Fred treats one bowl differently from another, likewise for the cookies. The cookie turns out to be a plain one. How probable is it that Fred picked it out of bowl #1?

Intuitively, it seems clear that the answer should be more than a half, since there are more plain cookies in bowl #1. The precise answer is given by Bayes' theorem. Let H₁ correspond to bowl #1, and H₂ to bowl #2. It is given that the bowls are identical from Fred's point of view, thus P(H₁) = P(H₂), and the two must add up to 1, so both are equal to 0.5. The event E is the observation of a plain cookie. From the contents of the bowls, we know that P(E | H₁) = 30 / 40 = 0.75 and P(E | H₂) = 20 / 40 = 0.5. Bayes' formula then yields

Before we observed the cookie, the probability we assigned for Fred having chosen bowl #1 was the prior probability, P(H₁), which was 0.5. After observing the cookie, we must revise the probability to P(H₁ | E), which is 0.6.

=======================

经典题目：

有三个门，里面有一个里有汽车，如果选对了就可以得到这辆车，当应试者选定一个门之后，主持人打开了另外一个门，空的。问应试者要不要换一个选择。假设主持人知道车所在的那个门。

经典解法：

第一次选择正确的概率是1/3，因此汽车在另外两个门里的概率是2/3。主持人指出一个门，如果你开始选错了(2/3概率)，则剩下的那个门里100%有汽车；如果你第一次选对(1/3)了，剩下那个门里100%没汽车。
所以主持人提示之后，你不换的话正确概率是1/3*100%+2/3*0=1/3，你换的话正确概率是1/3*0+2/3*100%=2/3。

对于这个解法的诘问就在于，现在主持人已经打开一个空门了（而且主持人是有意打开这个门的），在这一“信 息” 出现后，还能说当初选错的概率是2/3吗？这一后验事实不会改变我们对于先验概率的看法吗？答案是会的。更具体地说，主持人打开一扇门后，对当初选择错误 的概率估计不一定等于2/3。

从头说起。假设我选了B门，假设主持人打开了C门，那么他在什么情况下会打开C门呢？
若A有车（先验概率P=1/3），那主持人100%打开C门（他显然不会打开B）；
若B有车（先验概率P=1/3），那此时主持人有A和C两个选择，假设他以K的概率打开C（一般K=1/2，但我们暂把它设成变量）；
若C有车（先验概率P=1/3），那主持人打开C的概率为0（只要他不傻。。。）

已知他打开了C，那根据贝叶斯公式——这里P（M|N）表示N事件发生时M事件发生的概率：

P（B有车|C打开）= P（C打开|B有车）* p（B有车）/ P（C打开）

P（C打开|B有车）* p（B有车）

= P（C打开|A有车）* p（A有车）+ P（C打开|B有车）* p（B有车）

K * 1/3

= 1 * 1/3 + K * 1/3

K

= -------

K + 1
该值何时等于1/3 呢（也就是经典解法里的假设）？ 只有 K=1/2 时。也就是一般情况下。但如果主持人有偏好，比方说他就是喜欢打开右边的门（假设C在右边），设K=3/4， 那么B有车的概率就变成了 3/5，不再是1/3，后验事实改变了先验概率的估计！

但这并不改变正确的选择，我们仍然应该改选A门， 解释如下：

P（A有车|C打开）= P（C打开|A有车）* p（A有车）/P（C打开）

P（C打开|A有车）* p（A有车）

= ------------------------------------------------------------

P（C打开|A有车）* p（A有车）+ P（C打开|B有车）* p（B有车）

= 1 * 1/3/1 * 1/3 + K * 1/3

=1/k+1

而K < 1（假设主持人没有极端到非C不选的程度），所以永远有 P(B有车|C打开) < P( A有车|C打开).A有车的概率永远比B大，我们还是应该改变选择。