第四章朴素贝叶斯法----生成模型

4.1朴素贝叶斯的学习与分类
4.1.1基本方法
联合概率分布P(X,Y)，独立同步产生
先验概率分布P(Y=ck)，k=1,2,…K
条件概率分布P(X=x|Y=ck)=P(X1=x1,X2=x2,|Y=ck),k=1,2…K，（具有指数级的参数）
因此对概率分布做独立同分布假设：
P(X=x|Y=ck)=P(X1=x1,X2=x2,|Y=ck)=πP(Xi=xi|Y=ck)
因此：后验概率密度P(Y=ck|X=x)=…(这是朴素贝叶斯分类的基本公式)
由此，可以推导出朴素贝叶斯分类器：y=f(x)=arg maxP(Y=ck|X=x)
4.1.2后验概率最大化的含义----等价于期望风险最小
两者经过公式简化后是等价的
4.2朴素贝叶斯的参数估计
4.2.1极大似然估计
这是一种估计的方法
4.2.2学习与分类的算法
算法4.1（朴素贝叶斯算法）
（1）由T计算先验概率及条件概率
P(Y=ck)=ΣI(yi=ck)/N
P(X=aji|Y=ck)=… j=1,2,…n; l=1,2,…S; k=1,2,…K
（2）对于给定的实例x=(x1,x2,x3…xn)，计算
P(Y=ck|X=x)
（3）确定实例的类
y=arg max P(Y=ck|X=x)
4.2.3贝叶斯估计----弥补极大似然估计可能出现的p=0
在分子分母中加入了λ≥0，
当λ=0时为极大似然估计；当λ=1时，为拉普拉斯平滑