朴素贝叶斯
1 朴素贝叶斯为什么叫朴素贝叶斯?
因为这种方法是基于贝叶斯定理,顺便复习一下贝叶斯定理的表达式:
P(Bi|A)=P(A|Bi)P(Bi)∑Nj=1P(A|Bj)P(Bj)朴素贝叶斯法对条件概率分布作了条件独立性的假设,这是一个很强的假设,所以对应 “朴素” 二字。条件独立性假设 就是说用于分类的特征在类确定的条件下都是条件独立的。这个假设使得朴素贝叶斯变简单了,但也牺牲了一定的准确率, 条件独立性假设表达式:
P(X=x|Y=ck)=P(X(1)=x(1),⋯,X(n)=xn|Y=ck)=∏j=1nP(X(j)=x(j)|Y=ck)
2 朴素贝叶斯的学习与分类
2.1 学习方法
朴素贝叶斯法通过训练数据集学习联合概率分布 P(X,Y) . 具体地:
学习先验概率分布:
P(Y=ck),k=1,2,⋯,K学习条件概率分布:
P(X=x|Y=ck)=P(X(1)=x(1),⋯,X(n)|Y=ck),k=1,2,⋯,K
于是学习到联合概率分布 P(X,Y) 。道理简单嘛,就是根据条件概率公式:
P(AB)=P(A|B)P(B)=P(B|A)P(A)
2.2 分类方法
朴素贝叶斯分类时,对给定的输入 x ,通过学习到模型计算后验概率分布