本文的目的是记录一些在学习贝叶斯网络(Bayesian Networks)过程中遇到的基本问题。主要包括有向无环图(DAG),I-Maps,分解(Factorization),有向分割(d-Separation),最小I-Maps(Minimal I-Maps)等。主要参考Nir Friedman的相关PPT。
1 概率分布(Probability Distributions)
令X1,...,Xn表示随机变量;令P是X1,...,Xn的联合分布(joint distribution)。如果每个变量均可有两种取值(0-1分布),那么最终我们将得到2^n种取值,也就是说,我们需要用2^n个变量来描述P的分布。
2 随机变量的独立性
如果随机变量X和Y相互独立(independent),那么:
1)P(X=x|Y=y)=p(X=x),对于所有的x和y均成立;2)也就是说,随机变量Y的取值(或者说随机事件Y是否发生),不影响X。
3)P(X,Y)=P(X|Y)*P(Y)=P(X)*P(Y);
推广,如果X1,。。。,Xn独立,那么:
P(X1,,,,,Xn)=P(X1)...P(Xn),共需O(n)个参数。
3 条件独立(Conditional Independence)
上述独立的情况比较理想,不幸的是,现实中大多数我们感兴趣的随机变量都不是相互独立的。更加常见的假设是条件独立。两个随机变量X和Y对于给定条件Z条件独立,如果:
P(X=x|Y=y,Z=z) = P(X=x|Z=z)