机器学习(五)---贝叶斯分类器算法总结

1. 综述

1.1贝叶斯分类器

贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有概率都已经知道的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

具体的说：对于一个分类问题，有5个特征, 用x1,x2,x3,x4,x5表示；2个类，用c1,c2表示，对于一个测试样例c(m1x,m2x,m3x,m4x,m5x)，计算出样本属于各类的概率，将样本预测为概率值最大的分类。为了求出这个概率p(c|x)=p(x|c)p(c)/p(x),为了求出p(c|x)，只需求出p(x|c)p(c)/p(x)即可,于是最小化分类错误率的贝叶斯最优分类器为

    

1.2朴素贝叶斯分类器

基于贝叶斯公式求后验概率p(n|m)的难处在于p(m|n)为所有属性上的联合概率，难以从有限的训练样本直接估计而得，为避免这个障碍，朴素贝叶斯分类器采用了“属性条件独立性假设”：对已知道类别，假设所有属性相互独立。换言之，假设每个属性独立地对分类结果发生影响。基于属性条件独立性假设，p(c|x)=p(x|c)p(c)/p(x)可写为如下公式，其中d为属性数目。

 

由于对于所有类别来说P(x相同，因袭朴素贝叶斯分类器表达式为:

 

2. 案例快速入门

转载（http://www.ruanyifeng.com/blog/2013/12/naive_bayes_classifier.html）

（一）、病人分类的例子

让我从一个例子开始讲起，你会看到贝叶斯分类器很好懂