2.1 semantics & factorization
2.1.1 CPD:conditional probability distribution.条件概率分布
2.1.2 贝叶斯网络
一个非循环的有向图,在图中,点代表了随机变量
X1,…,Xn
。对于每个节点来说都是一个CPD:
P(Xi|ParG(Xi))
2.1.3 贝叶斯网络链式法则
当我们希望得到某个概率
P(D,I,G,S,L)
时,只需将对应的CPD相乘即可。即
并注意变量边缘概率之和为1,即整个网络每种可能相加概率为1。
2.1.4用因式P来对G进行编码
即把贝叶斯网络图G用因式分解P来表达。
2.2 reasoning patterns
2.2.1 节点之间相互影响的原因是当条件确定时在CPD表格中删去已经不可能发生的行并再度归一化
2.3 Flow of Probabilistic influence
2.3.1 迹:如果两个节点之间存在任意路径(不论路径中的边的方向),则称两个节点之间存在迹。
2.3.2 概率传递
因果迹:
X→Z→Y
:没有观察到Z时有效。
证据迹:
X←Z←Y
:没有观察到Z时有效。
共同原因:
X←Z→Y
:没有观察到Z时有效。
共同作用:
X→Z←Y
:观察到Z时有效。
2.4 conditional independence
2.4.1 独立是什么:两个变量的联合概率等于其边缘概率之积。
2.4.2 条件独立:在观察到Z的条件下X与Y独立。
被观察到的变量Z始终在条件条(conditioning bar)右边。
2.5 independencies in Bayesian Networks
2.5.1 d-separation:给定Z的情况下X与Y之间迹无效,则称它们在给定Z下d-separation
2.5.2 d-separation: 节点与非父亲且非后代的节点在给定父节点的情况下d-separation
2.5.3 I-maps
在给定因式分解I的情况下,如果贝叶斯网络G能满足I的独立性要求,则称G是I的I-maps。
2.5.4 在绝大多数情况下,存在一个贝叶斯网络G和因式分解I,它们之间能完美地互相表示(即仅包含且只包含对方的独立性要求)。
2.6 Naïve Bayes
2.6.1 模型概述
(1)可观察到特征
x1,…xn
,并依赖于隐藏变量C
(2)
x1,…xn
两两之间相互在给定C的前提下条件独立
(3)
C=c1
与
C=c2
之间的比即为他们之间的先验概率乘积之比乘以观察到
xi
的概率连乘之比
2.6.2 朴素贝叶斯用以文本分类
(1)分类法1:每个单词分配一个CPD,即每个单词在每个文本分类中出现的概率
(2)分类法2:每个单词位置分配一个CPD,即每个位置上不同文本分类出现特定单词的概率,每个位置上给定文本类别出现特定单词概率之和为1.