机器学习中的数学——条件概率

分类目录：《算法设计与分析》总目录

---

在很多情况下，我们感兴趣的是某个事件，在给定其他事件发生时出现的概率。这种概率叫做条件概率。我们将给定$x=x_i$，$y=y_i$，发生的条件概率记为$P(y=y_i|x=x_i)$。这个条件概率可以通过下面的公式计算：
$$P(y=y_i|x=x_i)=\frac{P(x=x_i,y=y_i)}{P(x=x_i)}$$

条件概率只在$P(x=x_i)>0$时有定义。我们不能计算给定在永远不会发生的事件上的条件概率。

这里需要注意的是，不要把条件概率和计算当采用某个动作后会发生什么相混淆。假定某个人说德语，那么他是德国人的条件概率是非常高的，但是如果随机选择的一个人会说德语，他的国籍不会因此而改变。计算一个行动的后果被称为干预查询，而干预查询属于因果模型的范畴。

任何多维随机变量的联合概率分布，都可以分解成只有一个变量的条件概率相
乘的形式：
$$P(x^{(1)},x^{(2)},\cdots ,x^{(n)})=P(x^{(1)})\prod _{i=2}^{n}P(x^{(i)}|x^{(1)},x^{(2)},\cdots ,x^{(i-1)})$$