概率论笔记(条件、联合、全概率、贝叶斯)

markdown编辑器使用方法
Markdown编辑器的学习
概率论读书原文

条件概率 P(A|B)

条件概率：P (A|B) 表示在B发生的条件下，发生A的概率
对于等概率模型的情况，下面关于条件概率的定义是合适的：

$$P(A|B)=\frac{事件A\cap B的试验结果数}{事件B的试验结果数}，即P(A|B)=\frac{P(A\cap B)}{P(B)}$$

这个式子可以理解成，在事件B发生的结果中，事件A 发生的结果数和事件B发生次数的比值。如下图所示，整个矩形空间 S 是全部的结果集，两个圆圈分别是事件A 和是事件B 发生的结果集，A 与 B 的交集部分，就是A 与 B 同时发生的结果集。

联合概率

联合概率：P(A, B) 属于不同样本空间的多个随机事件同时发生的概率

$$观察图1.2.1,A和B同时发生的集合就是A\cap B,因此A和B的联合概率为$$
$$P(A,B)=\frac{A\cap B}{S}$$
实际上，联合概率和条件概率之间是存在关系的，二者可以互相转换
$$P(A,B)=\frac{A\cap B}{S}=\frac{B}{S}\times \frac{A\cap B}{B}=P(B)P(A|B)$$
假如有A，B，C，D四个随机事件，它们组成的联合概率可以分解为
$$P(A,B,C,D)=P(A)P(B|A)P(C|A,B)P(D|A,B,C)$$
$$更一般的，假设有A_1,A_2,...,A_N共有N个随机事件，它们的联合概率可以写为$$
$$P(A_1,A_2,\cdots ,A_N)=P(A_1)P(A_2|A_1)P(A_3|A_1,A_2)\cdots P(A_N|A_1,A_2,\cdots ,A_{N-1})$$
这个被称为联合概率的链式法则。
联合概率就是多个随机事件同时发生的概率，它的计算方法就是按照事件发生的先后顺序拆解成一系列条件概率的乘积。 在 公式中，事件 A1 是第一个发生的事件，它的前面没有其它事件了， 因此 A1 的发生概率不是条件概率，而是 P(A1) 。 在 A1 之后发生的事件就都是以 A1 为前置条件了，依次类推，最后一个事件 AN 是在其它 N−1 个事件之后发生的。

全概率与贝叶斯定理

其中, P(B|A)是后验概率，P(B)是先验概率，P(A|B)是似然，P(A) 是全概率。最后，贝叶斯公式可以用如下方式描述。
$$后验概率=\frac{先验概率\times 似然}{全概率}$$

此外，可以注意到，分母全概率公式 P(A)=∑P(B)P(A|B) 其实就是分子 P(B)P(A|B) 的累加