朴素贝叶斯分类器重点

朴素贝叶斯分类器

1.全概率公式p(A)
2.贝叶斯定理p(B|A)
3.朴素贝叶斯：假设各条件特征独立同分布
p(c|x) = p(x|c)p© = p(x1|c)p(x2|c)p(x3|c)p©
主要是求p(x1|c),离散特征从样本中求得
4.特征为连续值的时候，对于朴素贝叶斯分类器：
p(x1|c) = 正态分布
假设了在c类别下，特征x1符合正态分布N(均值，方差)
5.当p(x1|c)=0时，分类质量下降,采用贝叶斯估计
引入Laplace校准，它的思想非常简单，就是对每个类别下所有划分的计数加1，这样如果训练样本集数量充分大时，并不会对结果产生影响。
6.优点：1)简单易懂、学习效率高; 2)分类过程中时空开销小。
7.缺点：算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提，会导致算法精度在某种程度上受影响。

半朴素贝叶斯分类器

1.半朴素贝叶斯分类器原理：适当考虑一部分特征之间的相互依赖信息，从而既不需要进行完全联合概率计算，又不至于彻底忽略了比较强的特征依赖关系。
2. 独依赖估计：假设每个特征在类别之外最多依赖于一个其他特征p(x1,x2,x3|c) = p(x1|c,x2)p(x2|c,x3)p(x3|c,x2) 其中：x1依赖x2，诸如此类
3.问题：如何确定每个特征的父特征？
SPODE方法 ，TAN方法