条件概率与贝叶斯公式

最新推荐文章于 2023-03-15 16:55:41 发布

AiA_AiA

最新推荐文章于 2023-03-15 16:55:41 发布

阅读量3k

点赞数 1

文章标签：机器学习概率论

原文链接：https://baike.baidu.com/item/%E6%9D%A1%E4%BB%B6%E6%A6%82%E7%8E%87/4475278?fr=aladdin

版权

查看我的收藏

820 有用+1 已投票

条件概率

语音编辑锁定讨论4 上传视频

本词条由 “科普中国”科学百科词条编写与应用工作项目审核。

条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为：P（A|B），读作“在B的条件下A的概率”。条件概率可以用决策树进行计算。条件概率的谬论是假设 P(A|B) 大致等于 P(B|A)。数学家John Allen Paulos 在他的《数学盲》一书中指出医生、律师以及其他受过很好教育的非统计学家经常会犯这样的错误。这种错误可以通过用实数而不是概率来描述数据的方法来避免。

中文名

条件概率

外文名

Conditional probability

分类

数学

表示

P（A|B）

计算

决策树

定理

贝叶斯公式

条件概率基本概念

编辑语音

条件概率

条件概率是指事件A 在事件B发生的条件下发生的概率。条件概率表示为：P（A|B），读作“A 在B发生的条件下发生的概率”。若只有两个事件A，B，那么，

。

概率测度

如果事件 B 的概率 P( B) > 0，那么 Q( A) = P( A | B) 在所有事件 A 上所定义的函数 Q 就是概率测度。如果 P( B) = 0， P( A | B) 没有定义。条件概率可以用决策树进行计算。 ^[1]

联合概率

表示两个事件共同发生的概率。 A与 B的联合概率表示为 P(AB) 或者 P( A , B),或者P(A∩B)。 ^[2]

边缘概率

是某个事件发生的概率，而与其它事件无关。边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。这称为 边缘化（ marginalization）。 A的边缘概率表示为 P( A)， B的边缘概率表示为 P( B)。

条件概率公式

需要注意的是，在这些定义中 A与 B之间不一定有因果或者时间顺序关系。 A可能会先于 B发生，也可能相反，也可能二者同时发生。 A可能会导致 B的发生，也可能相反，也可能二者之间根本就没有因果关系。例如考虑一些可能是新的信息的概率条件性可以通过贝叶斯定理实现。 ^[3]

条件概率基本定理

编辑语音

定理1

设A，B 是两个事件，且A不是不可能事件，则称

为在事件A发生的条件下，事件B发生的条件概率。一般地，

，且它满足以下三条件：

（1）非负性；（2）规范性；（3）可列可加性。

定理2

设E 为随机试验，Ω 为样本空间，A，B 为任意两个事件，设P(A)>0，称

为在“事件A 发生”的条件下事件B 的条件概率。

上述乘法公式可推广到任意有穷多个事件时的情况。

设

，

，…

为任意n 个事件（n≥2）且

，则

定理3( 全概率公式 )

定义：（完备事件组/样本空间的划分）

设B1，B2，…Bn是一组事件,若

（1）

（2）B1∪B2∪…∪Bn=Ω

则称B1，B2，…Bn样本空间Ω的一个划分，或称为样本空间Ω 的一个完备事件组。

定理（全概率公式）：

设事件组

是样本空间Ω 的一个划分，且P（Bi）>0（i=1，2，…n）

则对任一事件B，有

定理4( 贝叶斯公式 )

设B1，B2，…Bn…是一完备事件组，则对任一事件A，P（A）>0，有

条件概率统计独立性

编辑语音

当且仅当两个随机事件 A与 B满足

P(A∩B)=P(A)P(B)

的时候，它们才是统计独立的，这样联合概率可以表示为各自概率的简单乘积。

同样，对于两个独立事件 A与 B有

P(A|B)=P(A)

以及

P(B|A)=P(B)

换句话说，如果 A与 B是相互独立的，那么 A在 B这个前提下的条件概率就是 A自身的概率；同样， B在 A的前提下的条件概率就是 B自身的概率。

条件概率互斥性

编辑语音

当且仅当 A与 B满足

P(A∩B)=0

且P(A)≠0，P(B)≠0

的时候， A与 B是互斥的。

因此，

P(A|B)=0

P(B|A)=0

换句话说，如果 B已经发生，由于 A不能和 B在同一场合下发生，那么 A发生的概率为零；同样，如果 A已经发生，那么 B发生的概率为零。

条件概率其它

编辑语音

如果事件B的概率，P(B)>0

那么Q(A)=P(A|B)在所有事件A上所定义的函数Q就是概率测度。

如果P(B)=0，P(A|B)没有定义。

条件概率著名谬论

编辑语音

条件概率的谬论是假设 P( A| B) 大致等于 P( B| A)。数学家John Allen Paulos 在他的《数学盲》一书中指出医生、律师以及其他受过很好教育的非统计学家经常会犯这样的错误。这种错误可以通过用实数而不是概率来描述数据的方法来避免。

P( A| B) 与 P( B| A)的关系如下所示：

P( B| A)= P( A| B)P(B)/P(A)

下面是一个虚构但现实的例子， P( A| B) 与 P( B| A)的差距可能令人惊讶，同时也相当明显。

若想分辨某些个体是否有重大疾病，以便早期治疗，我们可能会对一大群人进行检验。虽然其益处明显可见，但同时，检验行为有一个地方引起争议，就是有检出假阳性的结果的可能：若有个未得疾病的人，却在初检时被误检为得病，他可能会感到苦恼烦闷，一直持续到更详细的检测显示他并未得病为止。而且就算在告知他其实是健康的人后，也可能因此对他的人生有负面影响。

这个问题的重要性，最适合用条件机率的观点来解释。

假设人群中有1%的人罹患此疾病，而其他人是健康的。我们随机选出任一个体，并将患病以disease、健康以well表示：

P(disease) = 1% = 0.01 and P(well) = 99% = 0.99. 假设检验动作实施在未患病的人身上时，有1%的机率其结果为假阳性（阳性以positive表示）。意即：

P(positive | well) = 1%，而且 P(negative | well) = 99%. 最后，假设检验动作实施在患病的人身上时，有1%的机率其结果为假阴性（阴性以negative表示）。意即：

P(negative | disease) = 1%且 P(positive | disease) = 99%。由计算可知： P(negative | well) = 99%

是整群人中健康、且测定为阴性者的比率。

P(positive|disease) = 99% 是整群人中得病、且测定为阳性者的比率。

是整群人中被测定为假阳性者的比率。

是整群人中被测定为假阴性者的比率。

进一步得出：

是整群人中被测出为阳性者的比率。

P(disease|positive) = 50% 是某人被测出为阳性时，实际上真的得了病的机率。

这个例子里面，我们很轻易可以看出 P(positive|disease)=99% 与 P(disease|positive)=50% 的差距：前者是你得了病，而被检出为阳性的条件机率；后者是你被检出为阳性，而你实际上真得了病的条件机率。由我们在本例中所选的数字，最终结果可能令人难以接受：被测定为阳性者，其中的半数实际上是假阳性。 ^[4]