机器学习(5)——贝叶斯学习（二）

在上一节的分析中，我们的讨论基本上都是以一个输入变量来讨论，但是在实际的情况中，存在不止一个输入变量，那么我们如何从多个不同量和观察来推导概率呢？这一章中我们将基于这个问题来进行相关的讨论。

在开始之前，先介绍一个概念——贝叶斯网络（Bayesian Networks），它能够很好的在复杂空间表示和操作概率量。

一:联合分布（Joint Distribution）

1.1条件独立性

这里我先用一段英文的描述来讲解一些什么是条件独立性：

X is conditionally independent of Y given Z if the probability distribution governing X is independent of the value of Y given Z the value of Z; that is it. We call it conditional independent(条件独立).

我们这里在使用一句公式来描述这个特征：

$$P(X|Y,Z) = P(X|Z)$$

说的通俗一点就是$X$发生的概率与$Y$无关。

这里我们在使用另外一种方式来证明一下：
因为条件独立，我们可以得到如下的公式：

$$P(X,Y) = P(X)P(Y)$$

根据概率论的链式法则，我们得到如下的公式：

$$P(X,Y) = P(X|Y)P(Y)$$

结合上边的公式我们可以得到：

P(X|Y