概率论与数理统计（一）：教你一步步推贝叶斯公式

参考资料：《概率论与数理统计》 陈希孺  2000.3/2016.8

1，概率是什么？

     概率是表示某种情况出现的可能性大小的一种数量指标，它介于0和1之间。

概率包括主观概率和客观概率。主观概率可以理解为一种心态或倾向性，是人们根据经验和知识、利害关系做出的判断，其具有一定的社会意义。

2，客观概率

事件：某种（或某些）情况的陈述，它可能发生，也可能不发生，其发生与否要等待试验的结果。

试验：包含了观察的主动行为，全部可能结果在试验前就明确（或知晓范围）。

事件是与试验结果有关的一个命题，其正确与否取决于试验结果如何。

单一试验结果称为基本事件。一个或多个基本事件并在一起，就构成了一个事件。基本事件本身也是事件。

随机事件：事件是否在某次试验中发生，取决于机遇。在概率论中，常称事件为“随机事件”或“偶然事件”。

古典概率：试验的有限结果具有等可能性

几何概率：将古典概率拓展到了无限的情况。

概率的统计定义：一种通过实验去估计概率的方法。即，用频率估计概率。它实际上没有提供确定概率的方法，而是提供了一种估计概率的方法和检验理论正确性的手段。

概率的公理化定义：基本事件构成集合O，集合类F包括O的所有子集。对F的任意成员A，定义P（A）为事件概率

柯尔莫戈罗夫公理体系的三条假设：概率介于0和1之间、必然事件概率为1且不可能事件概率为0、加法公理。

古典概率、几何概率满足加法公理，故其在柯式体系之内。

3，事件运算

事件的蕴含关系，A蕴含B，即B包含A。有P（A）<=P(B)

A B 相互蕴含则推出A 和 B 相等

事件的和：也称事件的并，两个事件至少发生一个。记为A+B。

互斥：两个事件不可能同时发生。

对立：两个事件不可能同时发生且必然发生一个。

加法公理：互斥事件和的概率等于各个事件的概率之和。

事件的积：也称事件的交，两个事件同时发生。记为AB。

事件的差：A发生B不发生，记为A-B。显然： A-B=A*（B补）

条件概率：P（AB）=P（A|B）*P（B）

事件独立性：若P（A|B）=P（A），称事件B对事件A的发生无影响，即A与B 独立。

概率乘法定理：对于独立事件，P（AB）=P（A）*P（B）

相互独立的事件相当于事件空间的若干维度。故而相互独立可推出两两独立，反之不成立。

完备事件群：一组事件（有限或无限），两两互斥且每次试验中至少发生一个。

全概率公式：对事件A，构造完备事件群B，由A=AO=AB1+AB2+AB3...（这一步是事件计算）

P（A）=P（AB1）+P（AB2）+....

故P（A）=P（B1）*P（A|B1）+P（B2）*P（A|B2）...，即事件A发生的概率，为其在因素集合B中各因素下A发生的条件概率以各因素自身概率为权的加权平均和。此式称为全概率公式。

贝叶斯定理：由全概率公式反推，P（Bi|A）=P（ABi）/P(A)=P(Bi)*P(A|Bi)/[P（B1）*P（A|B1）+P（B2）*P（A|B2）...]

上式指出了一个深刻的道理：若事件A发生了，它是由某原因Bi造成的概率,为【Bi 发生概率乘上在Bi下A发生的条件概率】占【在因素集合B中各因素下A发生的条件概率以各因素自身概率为权的加权平均和】的比例。

我们可以根据贝叶斯公式，从一项结果中推断其发生的原因；更重要的是，新的信息可能改变人们对原有结论的认识，在生活中，原以为不甚可能的一种情况，可以因某项事件的发生而变得甚为可能。

举例言之，某病在人群中的带菌率为0.03，因为检验手段有不完备，在带菌情况下被检测出阳性的概率为0.99，在不带菌情况下被检测出阳性的概率为0.05，则假设某人被检出阳性，根据贝叶斯公式，他带菌的概率为0.99*0.03/（0.99*0.03+0.97*0.05）=0.38。可见，贝叶斯定理可以得出一些反常识的有趣结论。