先验概率及后验概率等解释

20201010 -

0. 引言

在学习统计学的时候，在概率估计的部分，经常会遇到最大似然估计，最大后验估计等名词，这些似然和后验，都跟贝叶斯准则中的一些名词定义有关。这里参考书籍《Think Bayes》这部书，来记录这些名词。

1. 由糖果例子来解释名词

用最简单的一句话来说，贝叶斯准则就是一个公式，这个公式在考试的时候只要你会用，把问题形式化之后，甚至于有些题目直接给你了要求解的最终目标，都不用你对问题进行分析，直接套用公式就行了。但在实际问题的处理中，还是需要对问题的深入理解。考试考了高分，不代表解决问题的能力就是满分。下面通过一个例子开始，然后引入贝叶斯公式，最后解释下各个名词概念。

1.1 糖果例子

假设这里有两个糖果袋子，每个糖果袋子中有若干个糖果，其中袋子1中30个红糖果和10个绿糖果，而袋子2中两种糖果各有20个。那么随机从选取一个袋子，并从中随机取一个糖果，若这个糖果是红色的，那么这个糖果来自袋子1的概率有多大。

问题很简单，这也是很多概率书在讲解条件概率或者贝叶斯准则时最喜欢用的例子。那么我这里把这个问题利用概率的语言来定义一下。

设从任意一个袋子中取出红色糖果为事件$R$，而取出绿色糖果为事件$G$；随机选择袋子的过程中，若选中的袋子是袋子1，事件为$B_1$，为袋子2时为事件$B_2$。利用$P(X)$表示事件$X$发生的概率，而$P(X|Y)$是在事件$Y$发生的情况下，事件$X$发生的概率，即条件概率。

根据上述的定义，我们要求解的概率是$P(B_1|R)$，但是如果反过来，我要求$P(R|B_1)$的概率，这个问题很简单，也很直观，直接就是$\frac{3}{4}$就完事了。但是实际情况是两者并不相等。
既然是这样的话，那么我们在上述问题中得到了那些显而易见的结论呢？仅仅针对$P(B_1|R)$中出现的事件。
$$\begin{gathered} P(B_1)=\frac{1}{2}=0.5 \\ P(R)=\frac{30+20}{30+20+10+20}=\frac{5}{8}=0.625 \\ P(R|B_1)=\frac{30}{30+10}=0.75 \end{gathered}$$
好了，这些就是与要求解的问题相关的所有事件概率，下面由贝叶斯准则来进行计算。

1.2 贝叶斯准则

$P(AB)$在事件$A、B$独立的时候，存在$P(AB)=P(A)P(B)$，两个事件独立的时候，第一个事件发生并不会影响第二个事件发生的概率，从概率公式上来讲，就是$P(B|A)=P(B)$，但不独立的时候该式不成立。但是对于任意的事件$A、B$，联合概率$P(AB)=P(A)P(B|A)$。因为联合概率满足交换律，$P(AB)=P(BA)$。那么可以推导以下公式。
$$\begin{gathered} P(AB)=P(A)P(B|A) \\ P(BA)=P(B)P(A|B) \\ P(A)P(B|A)=P(B)P(A|B) \end{gathered}$$
那么根据上述公式，可以更进一步，求解某个条件概率，例如求解$P(A|B)$。
$$P(A|B)=\frac{P(A)P(B|A)}{P(B)}$$
到这里为止，本篇文章要解释的名词就出线了，先验概率，后验概率等，那么前面我们求解的概率$P(B_1|R)$，利用该公式就可以计算出来。
$$P(B_1|R)=\frac{P(B_1)P(R|B_1)}{P(R)}$$
这些值正好都是前面列出来的，计算的最后结果是0.6。

1.3 名词解释

关于这部分内容，《Think Bayes》进入了另一个小节，The diachronic interpretation，谷歌翻译为历时解释，也就是随着时间的推移，越来越多事件发生，从而导致概率发生了变化。也就是说，某个假设$H$出现了某些数据$D$之后，概率发生了更新。
那么按照上述内容改写贝叶斯准则。
$$P(H|D)=\frac{P(H)P(D|H)}{P(D)}$$
在历时解释的方式中，有以下定义：

• $P(H)$被称为先验概率，也就是数据$D$被看到之前，假设$H$发生的概率
• $P(H|D$被称为后验概率，是假设$H$在看到数据$D$之后被更新的概率。
• $P(D|H)$被称为似然值，是指数据$D$在假设$H$下出现的概率。
• $P(D)$是数据$D$出现的概率，基于任何的假设，一般是一个归一化的常数。