概率论与数理统计学习笔记（4）——贝叶斯公式

本文是我看3B1B的视频后的学习笔记，主要用于遗忘后可以翻看。相关的链接放在了最后。

对了宝贝儿们，卑微小李的公众号【野指针小李】已开通，期待与你一起探讨学术哟~摸摸大！

1 数学上证明贝叶斯公式

1.1 预备知识

设事件A与事件B发生的概率为$P(A)$和$P(B)$。事件A与事件B共同发生的概率为$P(A,B)$（i.e. 联合概率）。在事件B发生的情况下事件A发生的概率为$P(A|B)$，反之为$P(B|A)$（i.e. 条件概率）。

用一个直观的图来表达联合概率如下：

而概率我们可以转换为面积来表示，如下图所示：

1.2 数学证明

从上面的图，我们就可以看出$P(A,B)$能够表达为$P(A)$中$P(B)$的占比，或者说是$P(B)$中$P(A)$的占比（这里用面积去想象可以很好的想通）。于是我们可以把联合概率表达为如下公式：

$$P(A,B)=P(A)P(B|A)=P(B)P(A|B)$$

就比如下图：

那么根据上面的等式，我们就可以很容易的得出以下公式：

$$P(A|B)=\frac{P(A)P(B|A)}{P(B)}$$

$$P(B|A)=\frac{P(B)P(A|B)}{P(A)}$$

2 贝叶斯公式直观理解

2.1 问题提出

我们先列出3B1B给的贝叶斯公式（主要是他给的公式的参数定义我觉得很容易理解）：

$$P(H|E)=\frac{P(H)P(E|H)}{P(E)}$$

其中$E$指的是evidence (证据)，$H$指的是hypothesis (假设)。

接着给定一个背景知识：

再给出相应的问题：Steve是农民还是图书馆管理员？

虽然我觉得这样的题目有点犯规，就好比给你个题目小明今年五岁，问你小明的妈妈今年发量如何，但是我们依旧要用数学的方法来解决这个问题。我们不能凭借直觉来简单的回答这个问题，而是要用严谨的逻辑来解决这个题目。

那么以上的内容显然不足以解决我们的问题，所以我们需要调查，得出图书馆管理员与农民的比例是1:20。有了这个背景知识后，我们可以绘制出以下的比例图（假定图书馆管理员的样本数为10）：

下一步，我们通过观察题目，发现有个关键话语"meek and tidy soul"，于是我们假设有$40\%$的图书馆管理员符合该描述，$10\%$的农民符合该描述。那么我们就可以根据该描述，在上面的样本中计算得到图书馆管理员的比例：

$$P(Librariangivendescription)=\frac{4}{4+20}\approx 16.7\%$$

那么我们发现在这种情况下Steve是图书馆管理员的概率居然不足$20\%$，也就是说虽然图书馆管理员满足描述的占比高，但是奈何不了农民的人多，那么就是说明我们不能靠着直觉来分析这类问题。

2.2 贝叶斯公式的核心

有了以上的内容后，我们来看看贝叶斯公式的核心，如下图所示：

就是说求解这类问题分为三步：

1. 找到样本集合；
2. 找到满足证据的集合；
3. 根据满足证据的不同集合之间的占比来求解概率。

在上个问题中的证据指的就是对Steve的描述。

2.3 贝叶斯公式使用情况及计算方式

2.3.1 使用情况

贝叶斯公式的使用条件有以下两点：

1. 有一个假设（比如上面例子中的Steve is a librarian）；
2. 有一些证据（There are $40\%$ of librarians fit the description, and $10\%$ of farmers fit the description）

而想要基于这些证据求得假设的概率。如下图所示：

2.3.2 计算方式

我们将以上的内容形式化表达。

1. 我们根据人口比例的背景知识，可以设定假设成立的概率为$P(H)$。这个$P(H)$又称为先验(Prior)，指的是考虑新证据前，假设成立的可能性。
2. 接着我们引入对Steve的描述，来计算Steve如果是图书馆管理员，那么满足这个描述的概率，记做$P(E|H)$。$P(E|H)$称作似然(Likelihood)，指的是在假设的情况下满足证据的可能性。
3. 同样，我们需要计算假设不成立的情况下满足证据的可能性，这是另一个似然，记做$P(E|\neg H)$。这个代表的就是假设Steve不是librarian（是farmer），满足描述的概率。
4. 通过上面的三个内容，我们可以得到贝叶斯公式，表达如下：
   $$\begin{array}{rl}P(H|E)=& 满足证据与假设的人数/满足证据的人数\\ =& \frac{NP(H)P(E|H)}{NP(H)P(E|H)+NP(\neg H)P(E|\neg H)}\\ =& \frac{P(H)P(E|H)}{P(H)P(E|H)+P(\neg H)P(E|\neg H)}\\ =& \frac{P(H)P(E|H)}{P(E)}\end{array}$$
   其中$N$代表的是总样本数，$P(E)=P(H)P(E|H)+P(\neg H)P(E|\neg H)$，$P(H|E)$称作后验(Posterior)，指的是看到证据后，假设成立的可能性。在题目中指的就是满足描述，Steve是图书馆管理员的概率。

将上面的文字描述转换为图片表达如下：

我们将上面的数据代入进行计算。一共有$10$个图书馆管理员，$200$个农民，满足描述的图书馆管理员占比$40\%$，农民占比$10\%$。于是满足证据与假设的人数为$210\ast \frac{1}{21}\ast \frac{4}{10}=4$。满足证据的人数为$210\ast \frac{1}{21}\ast \frac{4}{10}+210\ast \frac{20}{21}\ast \frac{1}{10}=24$，结果为$\frac{4}{24}\approx 16.7\%$。在这里，$210\ast \frac{1}{21}$指的是满足新证据前，假设成立的人数，$210\ast \frac{1}{21}\ast \frac{4}{10}$也指的是满足新证据后，假设成立的人数。分母后的内容亦然。

3 贝叶斯公式启发

贝叶斯公式我个人认为最强的一点就在于，当我们面对某个问题的时候，我们对其有背景知识的了解，随着这些了解的深入，我们会慢慢更新我们的看法。也就是说新证据不能凭空决定你的看法，而是应该更新你的先验看法。

4 参考

[1]皮果提.word2vec 中的数学原理详解（二）预备知识[EB/OL].https://blog.csdn.net/itplus/article/details/37969635,2014.
[2]3Blue1Brown.【官方双语】贝叶斯定理，使概率论直觉化[EB/OL].https://www.bilibili.com/video/BV1R7411a76r,2020.
[3]3Blue1Brown.【官方双语】贝叶斯定理的简洁证明[EB/OL].https://www.bilibili.com/video/BV1o7411a76m,2020.
[4]3Blue1Brown.【官方双语】医检阳性≠得了病？重新理解贝叶斯定理[EB/OL].https://www.bilibili.com/video/BV1Ei4y1F72M,2020.