第四章 朴素贝叶斯
输入空间
X⊆Rn
X
⊆
R
n
为
n
n
维向量集合,输出空间为类别标记集合
训练集
T={(x1,y1),(x2,y2),⋯,(xN,yN)}
T
=
{
(
x
1
,
y
1
)
,
(
x
2
,
y
2
)
,
⋯
,
(
x
N
,
y
N
)
}
算法思想
首先学习先验概率分布:
然后学习条件概率分布:
朴素贝叶斯对该条件概率做了条件独立性假设,正是由于该假设得名
最后计算后验概率:
于是朴素贝叶斯分类器可以表示为:
由于对于所有的 ck c k 上面式子的分母相同,因此:
后验概率最大化等价于期望风险最小化,因此最后选择概率最大的类别
参数估计
在朴素贝叶斯法中,学习意味着估计
P(Y=ck)
P
(
Y
=
c
k
)
和
P(X(j)=x(j)|Y=ck)
P
(
X
(
j
)
=
x
(
j
)
|
Y
=
c
k
)
可以采用极大似然估计法去估计相应的概率,先验概率
P(Y=ck)
P
(
Y
=
c
k
)
的估计为:
设第 j j 个特征可能 取值的集合为 {aj1,aj2,⋯,ajSj} { a j 1 , a j 2 , ⋯ , a j S j } ,条件概率 P(X(j)=ajl|Y=ck) P ( X ( j ) = a j l | Y = c k ) 的极大似然估计为:
式中 x(j)i x i ( j ) 是第 i i 个样本的第个特征值; ajl a j l 是第 j j 个特征的可能的第个取值, I I <script type="math/tex" id="MathJax-Element-27">I</script>为指示函数