9.5 条件概率

在很多情况下，我们感兴趣的是某个事件，在给定其他事件发生时出现的概率。这种概率叫做条件概率。我们将给定$\mathbb x=x,\mathbb y=y$发生的条件概率记为$P(\mathbb y=y|\mathbb x=x)$。这个条件概率可以通过下面的公式计算：

$$P(\mathbb y=y|\mathbb x=x)=\frac{P(\mathbb y=y,\mathbb x=x)}{P(\mathbb x=x)}$$
条件概率只在 $P(\mathbb x=x)> 0$时有定义。我们不能计算给定在永远不会发生的事件上的条件概率。

条件概率的链式法则

任何多维随机变量的联合概率分布，都可以分解成只有一个变量的条件概率相乘的形式：

$$P(\mathbb x^{(1)},...,\mathbb x^{(n)})=P(\mathbb x^{(1)})\prod_{i=2}^{n}P(\mathbb x^{(i)}|\mathbb x^{(1)},...,\mathbb x^{(i-1)})$$
这个规则被称为概率的链式法则或者乘法法则，它可以直接从条件概率的定义求得。例如：
$$P(a,b,c) = P(a|b,c)P(b,c)\\ P(b,c) =P(b|c)P(c)\\ P(a,b,c)=P(a|b,c)P(b|c)P(c)$$

独立性和条件独立性

两个随机变量$\mathbb x$和$\mathbb y$，如果它们的概率分布可以表示成两个因子的乘积形式，并且一个因子只包含$\mathbb x$另一个因子只包含$\mathbb y$，我们就称这两个随机变量是相互独立的

$$\forall x\in \mathbb x,y\in \mathbb y,p(\mathbb x=x,\mathbb y=y) =p(\mathbb x=x)p(\mathbb y=y)$$
如果关于 $\mathbb x$和 $\mathbb y$的条件概率分布对于 $z$的每一个值都可以写成乘积的形式，那么这个两个随机变量$\mathbb x$和 $\mathbb y$在给定随机变量 $z$时是条件独立的：
$$\forall x\in\mathbb x,y\in\mathbb y,z\in\mathbb z,p(\mathbb x=x,\mathbb y=y|\mathbb z=z)=p(\mathbb x=x|\mathbb z=z)p(\mathbb y=y|\mathbb z=z)$$
我们可以采用一种简化形式来表示独立性和条件独立性： $\mathbb x\perp\mathbb y$表示 $\mathbb x$和 $\mathbb y$相互独立， $\mathbb x\perp\mathbb y|\mathbb z$表示 $\mathbb x$和 $\mathbb y$在给定 $\mathbb z$时条件独立。