联合概率 边缘概率 条件概率 贝叶斯定理

概率论

本文是阅读笔记，书中对联合概率、边缘概率、条件概率与贝叶斯定理的介绍，言简意赅，很容易理解，摘录过来，方便大家查阅。
考虑两个随机变量，X，取值为{xi}，其中i = 1, . . . , M，和Y ，取值为{yj}，其中j = 1, . . . , L。在这个例⼦中，我们取M = 5和L = 3。如果我们考虑这些变量的总计N个实例，那么我们将X = xi且Y = yj的实例的数量记作nij，它是对应的单元格中点的数量。列i中的点的数量，对应于X = xi，被记作ci，⾏j中的点的数量，对应于Y = yj，被记作rj 。具体如下图。

联合概率

X取值xi且Y 取值yj的概率被记作p(X = xi , Y = yj )，被称为X = xi和Y = yj的联合概率（joint probability）。它的计算⽅法为落在单元格i, j的点的数量与点的总数的⽐值，即：

边缘概率

边缘概率也是概率的加和规则（sum rule）这 ⾥ 我 们 隐 式 地 考 虑 极 限N → ∞。 类 似 地，X取 值xi（与Y 取 值 ⽆ 关） 的 概 率 被 记作p(X = xi)，计算⽅法为落在列i上的点的数量与点的总数的⽐值，即：

第i列上的实例总数就是这列的所有单元格中实例的数量之和，我们有 ，因此根据公式（1）和公式（2），我们有：

条件概率

如 果 我 们 只 考 虑 那 些X = xi的 实 例， 那 么 这 些 实 例 中Y = yj的 实 例 所 占 的 ⽐ 例 被 写 成p(Y = yj | X = xi)，被称为给定X = xi的Y = yj的条件概率（conditional probability）。它的计算⽅式为：计算落在单元格i, j的点的数量列i的点的数量的⽐值，即：

加和规则与乘积规则

两个变量X和Y 上的概率分布的⼀个例⼦。X可以取9个可能的值，⽽Y 可以去2个可能的值。左上图给出了从这两个变量的联合概率分布中抽取的60个样本点。剩下的图给出了估计边缘概率分布p(X)和p(Y )的直⽅图，以及条件概率分布p(X | Y = 1)的直⽅图，这个条件概率分布对应于左上图的第二行。

贝叶斯定理

根据乘积规则，以及对称性p(X, Y ) = p(Y, X)，我们⽴即得到了下⾯的两个条件概率之间的关系：