networkx 有向图强连通_PGM学习之六 从有向无环图（DAG）到贝叶斯网络（Bayesian Networks）...

本文的目的是记录一些在学习贝叶斯网络(Bayesian Networks)过程中遇到的基本问题。主要包括有向无环图(DAG)，I-Maps，分解(Factorization)，有向分割(d-Separation)，最小I-Maps(Minimal I-Maps)等。主要参考Nir Friedman的相关PPT。

1  概率分布(Probability Distributions)

令X1,...,Xn表示随机变量；令P是X1,...,Xn的联合分布(joint distribution)。如果每个变量均可有两种取值(0-1分布)，那么最终我们将得到2^n种取值，也就是说，我们需要用2^n个变量来描述P的分布。

2 随机变量的独立性

如果随机变量X和Y相互独立(independent)，那么：

1)P(X=x|Y=y)=p(X=x)，对于所有的x和y均成立；2)也就是说，随机变量Y的取值(或者说随机事件Y是否发生)，不影响X。

3)P(X,Y)=P(X|Y)*P(Y)=P(X)*P(Y)；

推广，如果X1，。。。，Xn独立，那么：

P(X1,,,,,Xn)=P(X1)...P(Xn)，共需O(n)个参数。

3 条件独立(Conditional Independence)

上述独立的情况比较理想，不幸的是，现实中大多数我们感兴趣的随机变量都不是相互独立的。更加常见的假设是条件独立。两个随机变量X和Y对于给定条件Z条件独立，如果：

P(X=x|Y=y,Z=z) = P(X=