概率与统计进阶（1）——概率统计的基础概念：条件概率、全概率、贝叶斯公式

从本质上理一下概率的基本概念，以及几个重要的公式。

1. 基本（核心）概念

事件与样本点

现实世界	数学规律
现实	概率论
事（情）	事件
（某件事情发生的）可能性	（某个事件A发生的）概率
（某件事情发生的）所有可能	样本空间Ω
（发生这件事其中的）一种可能性	（一个）样本点

2. 通理和思维

2.1 通理

概率的加法法则

定理：设A、B是互不相容事件（AB=φ），则：
P(A∪B)=P(A)+P(B)
推论1：设A1、 A2、…、 An互不相容，则：P(A1+A2+…+ An)= P(A1) +P(A2) +…+ P(An)
推论2：设A1、 A2、…、 An构成完备事件组，则：P(A1+A2+…+An)=1
推论3：
为事件A的对立事件。
推论4：若B包含A，则P(B－A)= P(B)－P(A)
推论5（广义加法公式）：
对任意两个事件A与B，有P(A∪B)=P(A)+P(B)－P(AB)

概率的乘法法则

(乘法法则由条件概率公式推到而来)

条件概率计算公式：
当P(A)>0，P(B|A)=P(AB)/P(A)

可以推出乘法公式：
P(AB)=P(A)×P(B|A)=P(B)×P(A|B)

2.2 思维（经验/技巧）

• 样本空间

1. 不同的角度看待——不同的事物/事件——不同的样本空间：无论什么问题，一定要先搞清当前问题的空间是什么

2. 所谓条件概率，本质上就是更换了"样本空间“

3. 一切概率皆可看做条件概率
   比如，P(A) = P(A|Ω)

• 条件（概率）：以谁为条件则我们认为谁先发生

  条件概率公式中隐含了一个非常重要的约定，既是一种先后顺序，因为 𝐵 是相对于 𝐴 的条件概率，那么就是说 𝐴 是 𝐵 的前提，或者说 𝐴 比 𝐵 先发生。（不过实质上，这个“先“和”后”并没有实际意义）

• 先验后验

  先验：调查“原因”本身——B_i的概率：P(B_i)
  后验：调查“原因”本身（B_i）与“结果”（A）的关系——P(A|B_i)

  注：① “结果”表示我们一开始直接得知的情况，“原因”指的是可能导致结果的可能事件 ② 这里用B_i表示所有可能原因中的一个

3. 条件概率

概念：
大学教科书上的定义：条件概率既是指当某个事件发生的前提下，另一个事件发生的概率；
条件概率是指某个事件 B 对样本空间 Ω 的某个子集 𝑆 的概率，而与其它某个事件是否真的发生与否无关，唯一变化的是计算概率的样本空间发生了改变而已。

比如，通常情况下，我们有事件 B 的概率 𝑃(𝐵)=$\frac{B}{\Omega }$，但是如果我们将事件 B 所参照的样本空间 Ω 变为 𝑆，且 𝑆 是 Ω 的子集，B 与 𝑆 存在交集 BS，这时 B 相对于前提条件 𝑆 的概率为：

数学上，将上式中的 𝑃(𝐵)′ 表示为 𝑃(𝐵|𝑆)，所以我们有：

令上式 S 为 A，则推导出乘法公式：

实际上，𝑃(𝐴)⋅𝑃(𝐵|𝐴) 求解的就是 𝐴∩𝐵 相对于 Ω 的概率；而 𝑃(𝐵|𝐴) 实际上求解的是 𝐴∩𝐵 相对于 𝑆 的概率。

4. 全概率

书中全概率公式的定义：

其实，其本质就是将样本空间Ω分为互斥的事件𝐵₁,𝐵₂,⋯,𝐵_𝑛 ，再利用互斥事件的加法，配合乘法规则（条件概率公式）推导得到。
即：

P(A)
=P(AΩ)
=P(B₁)P(A|B₁) + P(B₂)P(A|B₂ )+ … + P(B_n)P(A|B_n)

5. 贝叶斯公式

概念
高等教育出版社出版的《概率论与数理统计教程》第二版中的定义：
以上公式不是糊弄人的是什么？

钟开莱所著《初等概率论》中对贝叶斯公式的定义：
实际上贝叶斯公式的定义有如下两种方式:

贝叶斯公式 1
这种方式和钟开莱所定义一致，只是笔者换种数学形式对其进行描述，
解读：
A 事件发生了，比如出现了杀人事件 A，正常情况下我们可以把 A 叫”结果“，这时，我们要去找导致 A 发生的原因了，这个“原因”是什么我们是无法得知的，但是我们可以从诸多可能中，即从可能的凶手𝐵₁,𝐵₂,⋯,𝐵_𝑛 中找出可能性最大的那个。即，我们的目标是求得所有嫌疑人 B_i参与这起案件的概率 P(B_i|A)，并找出最大的那个。结合上面的图，即找出”瓜分“阴影 A范围最大的那个 B_i。

但是怎么找？按照正常的思路，我们首先要去评估每种可能本身的某种**“性质”，比方说，直接去调查𝐵₁,𝐵₂,⋯,𝐵_𝑛人的品性很坏的概率或者作案动机的大小等等 即P(B_i)，这个就叫做先验概率。接着，我们需要将这些嫌疑人与案件关联起来，即将这起杀人案件 A 与嫌疑人 B_i 放在一起进行关联分析**，即以A为条件来分析B_i是凶手的可能性，即P(A|B_i)，这也就是我们所说的后验概率。

至此，也就从本质上理解了贝叶斯公式。

博主还提出了贝叶斯公式的另外一种解释
贝叶斯公式 2

等有时间再深究。

总结

经验1：要顺着条件概率和全概率去理解贝叶斯公式：贝叶斯公式 = 条件概率 + 全概率（作分母部）
经验2：从两个变量的条件概率P(B|A)开始去理解多变量的条件概率P(B_i|A)。

1.条件概率：理解为“占比”

已经存在的或者先发生的叫做“结果”，作为分母

• 两个变量的条件概率（B是Ω的一部分）

• 多变量的条件概率（B将Ω完全划分，且独立）

2.全概率：将一切概率理解为条件概率（B将Ω完全划分，且独立）

3.贝叶斯公式：条件概率 + 全概率（作分母部）

在公式结构上，贝叶斯可以简单的理解为 由全概率作为分母部分的条件概率；
在公式理解上，贝叶斯公式可以看做是 先验概率（“原因”） 与 后验概率（“结果”）的乘积 与 ”结果“全概率的比值！

本文参考系列博客：
概率学系列 一：基础介绍
概率学系列 四：深入浅出 - 理解条件概率、全概率公式和贝叶斯公式