一、贝叶斯网络
贝叶斯网亦称“信念网”,它借助有向无环图(Directed Acyclic Graph,简称DAG)来刻画属性之间的依赖关系,并使用条件概率表(Conditional Probability Table,简称CPT)来描述属性的联合概率分布.
1.1 网络推导
具体来说, 一个贝叶斯网B由结构 G G G和参数 Θ Θ Θ两部分构成,即 B = ( G , Θ ) B= (G,Θ) B=(G,Θ).网络结构 G G G是一个有向无环图,其每个结点对应于一个属性,若两个属性有直接依赖关系,则它们由一条边连接起来;参数 Θ Θ Θ定量描述这种依赖关系,假设属性 x i x_i xi在 G G G中的父结点集为 π i π_i πi,则 Θ Θ Θ包含了每个属性的条件概率表 θ x i ∣ π i = P B ( x i ∣ π i ) θ_{x_i |π_i }= P_B (x_i |π_i) θxi∣πi=PB(xi∣πi).
贝叶斯网结构有效地表达了属性间的条件独立性.
以图为例,联合概率分布定义为:
显然, x 3 x_3 x3和 x 4 x_4 x4在给定 x 1 x_1 x1的取值时独立, x 4 x_4 x4和 x 5 x_5 x5在给定 x 2 x_2 x2的取值时独立,分别简记为 x 3 ⊥ x 4 ∣ x 1 x_3⊥x_4 |x_1 x3