朴素贝叶斯分类器



朴素贝叶斯分类器是在强独立性假设下，应用贝叶斯定理的一个简单概率分类器。对于其概率分类器本质更为形象化的称谓是"独立特征模型"。

简单来讲，朴素贝叶斯分类器假设在给定类变量的条件下，某一个确定特征的值与其他特征的存在与否无关。例如：一种水果如果它是红的、圆的、直径为3‘’，可能会被确定为苹果。朴素贝叶斯分类器假定每一个特征对于该水果是苹果概率的贡献是相互独立的，与其他特征是否存在无关。

对于某些类型的概率模型，可通过有导师学习对朴素贝叶斯分类器进行有效的训练。

在某些实际应用中，对于朴素贝叶斯模型参数使用极大似然方法估计。也就是说，在不接受贝叶斯概率或不使用贝叶斯方法的条件下，直接使用朴素贝叶斯模型。即使是这种朴素的思想和过于简单化的假设，在许多复杂的实际问题中，朴素贝叶斯分类器表现的相当抢眼。朴素贝叶斯的一大优点在于仅需要少量训练数据就可对分类中所需的参数进行估计。因为变量间的独立性假设，对于每一类，仅需确定变量的方差而不用确定完整的协方差。

概率模型

抽象地讲，对于分类器概率模型其实是一个条件模型

                                        P(C|F1,F2,...,Fn)

其中，C是类变量，F1,F2,...,Fn是特征。如果特征数n非常大或特征非常大，那么基于这样一个概率分布律上的模型是不可行的。利用贝叶斯定理对上述后验概率的式子变形得到