PGM学习之六 从有向无环图（DAG）到贝叶斯网络（Bayesian Networks）

          本文的目的是记录一些在学习贝叶斯网络（Bayesian Networks）过程中遇到的基本问题。主要包括有向无环图（DAG），I-Maps，分解（Factorization），有向分割（d-Separation），最小I-Maps（Minimal I-Maps）等。主要参考Nir Friedman的相关PPT。

1  概率分布（Probability Distributions）

          令X1,...,Xn表示随机变量；令P是X1,...,Xn的联合分布（joint distribution）。如果每个变量均可有两种取值（0-1分布），那么最终我们将得到2^n种取值，也就是说，我们需要用2^n个变量来描述P的分布。

2 随机变量的独立性

       如果随机变量X和Y相互独立（independent），那么：

             1）P（X=x|Y=y）=p(X=x)，对于所有的x和y均成立；2）也就是说，随机变量Y的取值（或者说随机事件Y是否发生），不影响X。

             3）P(X,Y)=P(X|Y)*P(Y)=P(X)*P(Y)；

       推广，如果X1，。。。，Xn独立，那么：

                   P(X1,,,,,Xn)=P(X1)...P(Xn)，共需O(n)个参数。

3 条件独立（Conditional Independence）

        上述独立的情况比较理想，不幸的是，现实中大多数我们感兴趣的随机变量都不是相互独立的。更加常见的假设是条件独立。两个随机变量X和Y对于给定条件Z条件独立，如果：

P(X=x|Y=y,Z=z) = P(X=x|Z=z)