先验概率与后验概率浅析

#先验概率和后验概率
先验（Apriori；又译：先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较，后验意指“在经验之后”，需要经验。
这一区分来自于中世纪逻辑所区分的两种论证，从原因到结果的论证称为“先验的”，而从结果到原因的论证称为“后验的
##1 先验概率##
袋子中有5个红球，3个白球，现在去抓一个球，抓到是白球的概率是P = 3/8
这个时候就是先验概率。
其实先验概率就是我们通常说的概率！！！
##2 后验概率##
教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。
假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。
堵车的概率就是先验概率 。
如果我们已经出了门，然后遇到了堵车（结果），那么我们想算一下堵车时由交通事故（原因）引起的概率有多大，那这个就叫做后验概率 （也是条件概率，但是通常习惯这么说）。也就是P(交通事故|堵车)。这是由果求因。
##3 条件概率##
首先，我们来回忆一下条件概率的概念（P(A|B)表示在B事件发生的情况下，A事件发生的概率）
那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率 。也就是P(堵车|交通事故)。这是由因求果。

这几个概念在理解先验和后验概率的过程中很有帮助最大似然估计，似然函数，贝叶斯公式
##4 最大似然估计
小明平时每天作息很规律，晚上睡得很早，一般早上上学不会起迟，一旦起迟很大可能就是因为前一天晚上玩手机熬夜了（假设这个是最有可能的一个原因），当然也有可能是生病了，或者其他原因。有一天小明早上起迟了，原因应该有很多种。这个时候我们让一个计算机去判断，
P（熬夜|起迟）
P（生病|起迟）
P（忘记定闹钟|起迟）
…这个时候计算机会判断小明就是因为熬夜而起迟了（由果索因），很明显这就是我们理解的后验概率！！！
事实上，后验概率起了这样一个用途，根据一些发生的事实（通常是坏的结果），分析结果产生的最可能的原因，然后才能有针对性地去解决问题。
##5 贝叶斯公式##
贝叶斯公式是由先验概率求后验概率的公式。

**在实际过程中后验概率一般是很难直接计算出来的，相反先验概率就容易多了。**因此一般会利用先验概率来计算后验概率。这个时候贝叶斯公式就派上用场了。
从网上找到一个例子感觉说的比较好懂，以此来理解贝叶斯公式：
1）先验——根据若干年的统计（经验）或者气候（常识），某地方下雨的概率；
2）似然——下雨（果）的时候有乌云（因/证据/观察的数据）的概率，即已经有了果，对证据发生的可能性描述；
3）后验——根据天上有乌云（原因或者证据/观察数据），下雨（结果）的概率；
后验 ~ 先验*似然 ： 存在下雨的可能（先验），下雨之前会有乌云（似然）~ 通过现在有乌云推断下雨概率（后验）；
后验分布往往是基于先验分布和极大似然估计计算出来的。
后验分布往往是基于先验分布和极大似然估计计算出来的。
后验分布往往是基于先验分布和极大似然估计计算出来的。

---

举一个简单的例子：一口袋里有3只红球、2只白球，采用不放回方式摸取，求：
⑴ 第一次摸到红球（记作A）的概率；
⑵ 第二次摸到红球（记作B）的概率；
⑶ 已知第二次摸到了红球，求第一次摸到的是红球的概率。
解：⑴ P(A)=3/5，这就是前验概率；
⑵ P(B)=P(A)P(B|A)+P(A逆)P(B|A逆)=3/5
⑶ P(A|B)=P(A)P(B|A)/P(B)=1/2，这就是后验概率。

---

Reference
【1】极大似然估计详解
【2】全概率公式和贝叶斯公式的理解
【3】先验概率与后验概率