深度学习数学基础之全概率公式和贝叶斯公式

深度学习数学基础之全概率公式和贝叶斯公式

全概率公式

全概率公式是概率论中非常重要的一个概念，它用于计算某个事件发生的概率，特别是当这个事件的发生可以通过多个不同的途径实现时。在您提供的小偷偷钱的例子中，我们可以利用全概率公式来精确计算出小偷偷到一张真钱的概率。

事件定义

设事件 $A$ 表示小偷偷到一张真钱。考虑到小偷面前有三位同学，分别是小明、小红和大壮，他们口袋里的钱的情况各不相同。我们定义三个事件 $B_1$、$B_2$ 和 $B_3$，分别表示小偷选择偷小明、小红和大壮的钱。

条件概率和先验概率

对于每个同学，他们钱袋中真假钱的具体情况如下：

• 小明 ($B_1$): 3张钱，其中2张是真钱。因此，条件概率 $P(A|B_1)=\frac{2}{3}$。
• 小红 ($B_2$): 10张钱，全部是真钱。因此，条件概率 $P(A|B_2)=1$。
• 大壮 ($B_3$): 21张钱，仅1张是真钱。因此，条件概率 $P(A|B_3)=\frac{1}{21}$。

假设小偷选择任一同学的概率相等，即 $P(B_1)=P(B_2)=P(B_3)=\frac{1}{3}$。

全概率公式的应用

根据全概率公式，事件 $A$（偷到真钱）的总概率由以下式子给出：
$$P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+P(A|B_3)P(B_3)$$
将具体数值代入，得：
$$P(A)=\left(\frac{2}{3}\times \frac{1}{3}\right)+\left(1\times \frac{1}{3}\right)+\left(\frac{1}{21}\times \frac{1}{3}\right)$$
$$P(A)=\frac{2}{9}+\frac{1}{3}+\frac{1}{63}$$
$$P(A)=\frac{21}{63}+\frac{21}{63}+\frac{1}{63}=\frac{43}{63}$$

结论

通过计算，我们得到小偷在随机选择一个同学后偷到一张真钱的概率是 $\frac{43}{63}$ 或约 68.25%。这个结果显示了全概率公式在处理此类问题中的强大功能，通过将一个复杂问题分解为更易处理的多个子问题，然后将这些子问题的结果综合起来，得到了整体问题的解答。这种方法的严谨性和逻辑性是处理概率问题的关键。

贝叶斯公式

贝叶斯公式是概率论中的一个核心概念，它允许我们在已知某事件结果的条件下，重新评估各种原因发生的概率。这种方法特别适用于信息不完全的情况，通过先验知识和新获取的数据来更新我们对事件的认知。

贝叶斯公式的表述

贝叶斯公式可以表示为：
$$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{P(A)}$$
这里：

• $P(B_i|A)$ 是后验概率，即在事件 $A$ 发生后，假设 $B_i$ 的条件概率。
• $P(A|B_i)$ 是条件概率，即在假设 $B_i$ 的条件下事件 $A$ 发生的概率。
• $P(B_i)$ 是先验概率，即在事件 $A$ 发生前，我们对 $B_i$ 发生的估计。
• $P(A)$ 是事件 $A$ 的全概率，可以通过全概率公式计算。

应用场景：小偷偷钱问题

假设小偷已经偷到了一张真钱，我们需要计算这张真钱来自于小明的概率。根据问题设定：

• 事件 $A$：偷到一张真钱。
• 事件 $B_1$：偷的钱来自于小明。

已知：

• $P(A|B_1)=\frac{2}{3}$：假设小偷选择了小明，他偷到真钱的概率。
• $P(B_1)=\frac{1}{3}$：小偷选择偷小明的先验概率。
• $P(A)$：之前通过全概率公式计算得到的偷到真钱的总概率为 $\frac{43}{63}$。

贝叶斯公式计算

使用贝叶斯公式，我们可以计算小明是真钱来源的后验概率：
$$P(B_1|A)=\frac{P(A|B_1)\cdot P(B_1)}{P(A)}=\frac{\frac{2}{3}\cdot \frac{1}{3}}{\frac{43}{63}}=\frac{\frac{2}{9}}{\frac{43}{63}}=\frac{14}{43}$$
这个结果 $\frac{14}{43}\approx 0.326$，说明在偷到真钱这一结果已知后，偷到的真钱来自小明的概率略低于偷之前估计的 $\frac{1}{3}$。这表明后验概率与先验概率存在差异，说明贝叶斯更新通过新证据微调了我们的原始概率估计。

结论

通过贝叶斯公式，我们可以看到，即使在一个简单的情境中，后验概率也能提供对问题更深刻的理解和更精确的概率评估。这种从结果反推可能性的方法，不仅增强了我们的分析能力，而且在数据科学、机器学习等领域提供了强大的理论支持，使我们能够在不确定性中做出更有信息的决策。