AI基础——先验、后验

今天通过一个例子聊聊先验概率和后验概率。

例子

比如有两个箱子，里面各装了足球和篮球，其中，1号箱子有4个足球6个篮球，2号箱子有1个足球9个篮球。
从箱子里随意抓一个球，这个过程不考虑球的大小或颜色，抓取过程完全随机，也就是说抓到任意一个球的概率是相等的。

先验概率

先验概率就是本身即存在的，事情发生前就可以看出来的。
比如例子中，A事件代表从1号箱子抓球，很显然P(A)=0.5，是先验概率。

后验概率

后验概率是在看到事件发生的情况下，反过来分析结果来自某一个前提的概率。
比如例子中，B事件代表抓到的是足球，在B事件发生的情况下，A发生的概率就是后验概率，记作P(A|B)。
根据这个例子的直观理解，抓到足球一共有5种可能，其中在1号箱子抓到足球有4种可能，因此B发生条件下A发生的后验概率=4/(4+1)=0.8。
B发生的条件下A发生的概率，也称条件概率。

贝叶斯公式

引出贝叶斯公式：
$P(A|B)=P(A)\cdot \frac{P(B|A)}{P(B)}$
贝叶斯公式的左边是后验概率，右边第一项P(A)是先验概率，右边第二项一会再说。

计算一下：
P(A) = 0.5
P(B|A)=4/10=0.4
P(B) = 5/20=0.25
根据贝叶斯公式P(A|B) = 0.5 * 0.4 / 0.25 = 0.8，这个结果跟上面根据直观理解计算的结果是一样的。

本质上可以这么理解，在抓球之前，A发生的概率是0.5，是先验概率。
而抓球之后，其实此时A已经不存在概率，要么发生要么没发生。假设我们不知道A是否发生，只知道抓的是足球，如何根据已知信息估计A的概率呢？这就是后验概率或者贝叶斯公式解决的问题。
也就是说，由于B的发生，给A的概率估计带来了调整，让A发生的概率从0.5增加到0.8，这就是贝叶斯公式右边第二项起到的作用。

思考一下，为什么B的发生让A概率提高了？如果B没有发生，C（抓到了篮球）发生了，那么A如何调整呢？变大还是变小？

总结

今天讨论的都是很基本的概率问题，这些基本概念有助于将来理解生成模型算法。