4.1朴素贝叶斯的学习与分类
4.1.1基本方法
联合概率分布P(X,Y),独立同步产生
先验概率分布P(Y=ck),k=1,2,…K
条件概率分布P(X=x|Y=ck)=P(X1=x1,X2=x2,|Y=ck),k=1,2…K,(具有指数级的参数)
因此对概率分布做独立同分布假设:
P(X=x|Y=ck)=P(X1=x1,X2=x2,|Y=ck)=πP(Xi=xi|Y=ck)
因此:后验概率密度P(Y=ck|X=x)=…(这是朴素贝叶斯分类的基本公式)
由此,可以推导出朴素贝叶斯分类器:y=f(x)=arg maxP(Y=ck|X=x)
4.1.2后验概率最大化的含义----等价于期望风险最小
两者经过公式简化后是等价的
4.2朴素贝叶斯的参数估计
4.2.1极大似然估计
这是一种估计的方法
4.2.2学习与分类的算法
算法4.1(朴素贝叶斯算法)
(1)由T计算先验概率及条件概率
P(Y=ck)=ΣI(yi=ck)/N
P(X=aji|Y=ck)=… j=1,2,…n; l=1,2,…S; k=1,2,…K
(2)对于给定的实例x=(x1,x2,x3…xn),计算
P(Y=ck|X=x)
(3)确定实例的类
y=arg max P(Y=ck|X=x)
4.2.3贝叶斯估计----弥补极大似然估计可能出现的p=0
在分子分母中加入了λ≥0,
当λ=0时为极大似然估计;当λ=1时,为拉普拉斯平滑
第四章朴素贝叶斯法----生成模型
最新推荐文章于 2022-11-09 23:09:54 发布