朴素贝叶斯分类器

    分类是将一个未知样本分到几个预先已知类的过程。数据分类问题的解决是一个两步过程：第一步,建立一个模型，描述预先的数据集或概念集。通过分析由属性描述的样本（或实例，对象等）来构造模型。假定每一个样本都有一个预先定义的类，由一个被称为类标签的属性确定。为建立模型而被分析的数据元组形成训练数据集，该步也称作有指导的学习。
　　在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBC）。决策树模型通过构造树来解决分类问题。首先利用训练数据集来构造一棵决策树，一旦树建立起来，它就可为未知样本产生一个分类。在分类问题中使用决策树模型有很多的优点，决策树便于使用，而且高效；根据决策树可以很容易地构造出规则，而规则通常易于解释和理解；决策树可很好地扩展到大型数据库中，同时它的大小独立于数据库的大小；决策树模型的另外一大优点就是可以对有许多属性的数据集构造决策树。决策树模型也有一些缺点，比如处理缺失数据时的困难，过度拟合问题的出现，以及忽略数据集中属性之间的相关性等。
　　和决策树模型相比，朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。在属性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不上决策树模型。而在属性相关性较小时，NBC模型的性能最为良好。

    假定每个样本X由n个属性值来描述，而目标函数f(X)从某个有限类别集合中取值，用户提供一些列的关于目标函数的训练样本以及新样本<a1,a2,...,an>,然后要求预测新样本的目标值，及类别。

    Vmap=arg max P( Vj | a1,a2...an)
　　Vj属于V集合
　　其中Vmap是给定一个example,得到的最可能的目标值.
　　其中a1...an是这个example里面的属性.
　　这里面,Vmap目标值,就是后面计算得出的概率最大的一个.所以用max 来表示
　　贝叶斯公式应用到 P( Vj | a1,a2...an)中.
　　可得到 Vmap= arg max P(a1,a2...an | Vj ) P( Vj ) / P (a1,a2...an)
　　又因为朴素贝叶斯分类器默认a1...an他们互相独立的.
　　所以P(a1,a2...an)对于结果没有用处. [因为所有的概率都要除同一个东西之后再比较大小,最后结果也似乎影响不大]
　　可得到Vmap= arg max P(a1,a2...an | Vj ) P( Vj )
　　然后
　　"朴素贝叶斯分类器基于一个简单的假定：给定目标值时属性之间相互条件独立。换言之。该假定说明给定实力的目标值情况下。观察到联合的a1,a2...an的概率正好是对每个单独属性的概率乘积： P(a1,a2...an | Vj ) = ∏ i P( ai| Vj )
　　....
　　朴素贝叶斯分类器：Vnb =arg max P( Vj ) ∏ i P ( ai | Vj )
　　"
　　Vnb = arg max P ( Vj )
　　此处Vj ( yes | no )，对应天气的例子。