【一文理解】全概率公式、贝叶斯公式、先验概率&后验概率、似然函数&极大似然估计

F_D_Z

已于 2024-10-06 18:18:56 修改

阅读量4k

点赞数 69

分类专栏：数理杂文章标签：概率论似然估计贝叶斯公式全概率公式先验概率后验概率

于 2024-10-03 21:54:01 首次发布

本文链接：https://blog.csdn.net/weixin_73404807/article/details/142689796

版权

数理同时被 2 个专栏收录

107 篇文章

订阅专栏

杂

31 篇文章

订阅专栏

全概率公式

设事件 $B_1,B_2,...,B_n$ 构成一个完备的事件组，完备事件组意味着它们两两互不相容，总体和为全集，且满足 $P(B_i)>0$ ，则对任一的事件A，有全概率公式：

$P(A)=\sum_{i=1}^{n}P(B_i)P(A|B_i)$

$P(A)$ 是事件A发生的概率。
$B_1,B_2,...,B_n$ 是一个完备事件组，即这些事件互斥且它们的并集是全集S，也就是说，这些事件中的任何一个发生都会导致全集S中的某个样本点发生，且不会遗漏S中的任何样本点。
$P(B_i)$ 是事件Bi发生的概率。
$P(A|B_i)$ 是在事件Bi发生的条件下，事件A发生的概率。

全概率公式的核心思想是，通过考虑所有可能导致事件A发生的前置条件（即完备事件组中的各个事件 $B_1,B_2,...,B_n$ ），并计算在这些前置条件下事件A发生的概率，然后将这些概率按照前置条件发生的概率进行加权平均，从而得到事件A发生的总概率。

全概率公式在概率论中有着广泛的应用，特别是在贝叶斯定理、决策树分析、可靠性分析和风险评估等领域中。它提供了一种有效的方法来计算复杂事件的概率，尤其是在事件之间存在依赖关系时。全概率公式的应用需要满足一定的条件，即完备事件组的存在和各个事件概率的已知性。如果这些条件不满足，那么就不能直接使用全概率公式来计算概率。

四个字总结全概率公式的思想：由因推果

贝叶斯公式

贝叶斯公式（Bayes' Theorem）是概率论中的一个重要定理，它提供了一种计算条件概率的方法，特别是在已知某些观测结果后更新事件发生的概率。这个公式是由英国数学家托马斯·贝叶斯（Thomas Bayes）在其去世后由朋友理查德·普莱斯（Richard Price）在1763年发表的论文中提出的。贝叶斯公式在统计学、机器学习、人工智能、数据挖掘等领域有着广泛的应用。

设事件 $B_1,B_2,...,B_n$ 构成一个完备的事件组，完备事件组意味着它们两两互不相容，总体和为全集，且满足 $P(B_i)>0$ ，则对任一的事件A，有贝叶斯公式：

$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{P(A)}=\frac{P(B_i)P(A|B_i)}{\Sigma_{i=1}^nP(B_i)P(A|B_i)}$

$P(A|B_i)$ 是在给定事件 $B_i$ 发生的条件下，事件 $A$ 发生的条件概率。
$P(B_i|A)$ 是在给定事件 $A$ 发生的条件下，事件 $B_i$ 发生的条件概率。
$P(B_i)$ 是事件 $B_i$ 发生的先验概率（即在没有任何条件限制下，事件A发生的概率）。
$P(A)$ 是事件 $A$ 发生的概率，它可以通过全概率公式计算得出，即 $P(A)=\sum_{i=1}^{n}P(B_i)P(A|B_i)$

贝叶斯公式的核心思想是利用先验信息和观测结果来更新我们对某个事件发生的信念或概率。在机器学习和统计推断中，这通常被称为贝叶斯推断。

四个字总结贝叶斯公示的思想：由果溯因

先验概率&后验概率

先验概率（prior probability）：指根据以往经验和分析。在实验或采样前就可以得到的概率。

后验概率（posterior probability）：指某件事已经发生，计算事情发生是由某个因素引起的概率。

先验概率和后验概率是贝叶斯统计推断中的两个核心概念。先验概率先验概率是指在没有观察到任何新信息或数据之前，对某一事件或参数已经存在的信念或估计。它反映了对某一事件发生的初始认知或假设；后验概率是在观察到新的数据或信息后，对某一事件或参数发生的信念或估计进行的更新。它反映了在给定新信息后，对某一事件发生的最新认知。通过贝叶斯定理，可以将先验概率与新的观测数据相结合，从而得出更加准确和可靠的后验概率。在实际应用中，后验概率通常用于指导决策制定、预测和模型评估。

考虑一个例子来理解先验概率和后验概率

假设这里有盒子1号和2号，1号盒子内6颗红球、2颗绿球，2号盒子内有1颗红球、3颗绿球。每次实验的时候会随机从某个盒子里挑出一个球，随机变量Box表示挑出的是哪个盒子，并且P(B=1) = 0.4（1号盒子被选中的概率），P(B=2) = 0.6（2号盒子被选中的概率）。

已知某次实验中挑出的球为红球，需要计算红球是从1号盒子里挑出的概率，依据贝叶斯公式有：

$P(Box=1|Ball=r)=\frac{P(Ball=r|Box=1)P(Box=1)}{P(Ball=r)}=\frac34\times\frac4{10}\times\frac{20}9=\frac23$

注意，这一项 $P(Ball=r)$ 是需要依据全概率公式计算的

$P(Ball=r)=\frac{2}{5}\times \frac{3}{4}+\frac{3}{5}\times \frac{1}{4}=\frac{9}{20}$

有了 $P(Box=1|Ball=r)=\frac23$ ，从而有， $P(Box=2|Ball=r)=1-\frac23=\frac13$

更进一步，把前面的内容都串联起来，预先知道的选中1号盒子的概率 $P(B=1) = 0.4$ 即为先验概率。而根据发生过的一些情况推断的概率 $P(Box=1|Ball=r)=\frac23$ 即为后验概率。

似然函数&极大似然估计

假设 $f$ 是一个概率密度函数，

那么固定 $\theta$ ， $x\mapsto f(x| \theta )$ 是一个条件概率密度函数

换位一下，固定 $x$ ，则 $\theta \mapsto f(x|\theta )$ 称为似然函数

似然函数一般写为 $L(\theta | x) = f(x| \theta)$

而最大似然估计就是求在θ的定义域中，当似然函数取得最大值时θ的大小。和前面所述后验概率的理念结合起来，意思就是，当后验概率最大时θ的大小。也就是说要求最有可能的原因。

由于对数函数不会改变大小关系，有时候会将似然函数求一下对数，方便计算。

还是考虑一个简单的例子来理解似然函数和极大似然估计

假设有三种硬币道具，这三种硬币道具A、B、C扔到正面的概率分别是1/3，1/2，2/3。此时有一枚硬币，并不知道属于哪一种硬币道具。但是知道这枚硬币扔了80次，有49次正面，31次背面。需要依据上述条件推断属于哪一种硬币道具，这个问题可以通过似然函数求解。

$\begin{aligned}\Pr(\mathrm{H}=49\mid p=1/3)&=\binom{80}{49}(1/3)^{49}(1-1/3)^{31}\approx0.000\\\\\Pr(\mathrm{H}=49\mid p=1/2)&=\binom{80}{49}(1/2)^{49}(1-1/2)^{31}\approx0.012\\\\\Pr(\mathrm{H}=49\mid p=2/3)&=\binom{80}{49}(2/3)^{49}(1-2/3)^{31}\approx0.054.\end{aligned}$