概率图模型笔记(2)——Bayesian Network Fundamentals

2.1 semantics & factorization

2.1.1 CPD：conditional probability distribution.条件概率分布
2.1.2 贝叶斯网络
　　一个非循环的有向图，在图中，点代表了随机变量$X_1,…,X_n$。对于每个节点来说都是一个CPD：$P(X_i |Par_G (X_i))$
2.1.3 贝叶斯网络链式法则
　　当我们希望得到某个概率$P(D,I,G,S,L)$时，只需将对应的CPD相乘即可。即

$$P(D,I,G,S,L)=P(D)P(I)P(G|I,D)P(S|I)P(L|G)$$
并注意变量边缘概率之和为1，即整个网络每种可能相加概率为1。
2.1.4用因式P来对G进行编码
　　即把贝叶斯网络图G用因式分解P来表达。

2.2 reasoning patterns

2.2.1 节点之间相互影响的原因是当条件确定时在CPD表格中删去已经不可能发生的行并再度归一化

2.3 Flow of Probabilistic influence

2.3.1 迹：如果两个节点之间存在任意路径(不论路径中的边的方向)，则称两个节点之间存在迹。
2.3.2 概率传递
　　因果迹：$X→Z→Y$：没有观察到Z时有效。
　　证据迹：$X←Z←Y$：没有观察到Z时有效。
　　共同原因：$X←Z→Y$：没有观察到Z时有效。
　　共同作用：$X→Z←Y$：观察到Z时有效。

2.4 conditional independence

2.4.1 独立是什么：两个变量的联合概率等于其边缘概率之积。
2.4.2 条件独立：在观察到Z的条件下X与Y独立。
　　被观察到的变量Z始终在条件条(conditioning bar)右边。

2.5 independencies in Bayesian Networks

2.5.1 d-separation：给定Z的情况下X与Y之间迹无效，则称它们在给定Z下d-separation
2.5.2 d-separation： 节点与非父亲且非后代的节点在给定父节点的情况下d-separation
2.5.3 I-maps
　　在给定因式分解I的情况下，如果贝叶斯网络G能满足I的独立性要求，则称G是I的I-maps。
2.5.4 在绝大多数情况下，存在一个贝叶斯网络G和因式分解I，它们之间能完美地互相表示(即仅包含且只包含对方的独立性要求)。

2.6 Naïve Bayes

2.6.1 模型概述
　　(1)可观察到特征$x_1,…x_n$，并依赖于隐藏变量C
　　(2)$x_1,…x_n$两两之间相互在给定C的前提下条件独立
　　(3)$C=c^1$与$C=c^2$之间的比即为他们之间的先验概率乘积之比乘以观察到$x_i$的概率连乘之比
2.6.2 朴素贝叶斯用以文本分类
　　(1)分类法1：每个单词分配一个CPD，即每个单词在每个文本分类中出现的概率
　　(2)分类法2：每个单词位置分配一个CPD，即每个位置上不同文本分类出现特定单词的概率，每个位置上给定文本类别出现特定单词概率之和为1.