朴素贝叶斯分类算法

本人根据自己所学和网上查资料而总结,因本人水平有限,若有错误,请各位及时指出.

介绍:

朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法..最为广泛的两种分类模型是决策模型和朴素贝叶斯模型.
和决策模型相比,朴素贝叶斯分类器(NBC)发源古典数学理论,有着坚实的数学基础,以及稳定的分类效率.同时,NBC模型所需估计的参数很少,对缺失数据不太敏感,算法也比较简单.

分类问题概述

分类一词:顾名思义,把符合某条件分到其中,比如:水果,苹果根据苹果的特征归为苹果这一类,梨根据梨的特征分类梨这一类,这就是分类的操作;
用数学的表达式来看:
已知集合：A={a1,a2,a3…..an}和B={b1,b2……bn}，确定映射规则y=f(x)，使得任意有bi属于且仅有一个yi属于A使得yi=f(xi)成立。（不考虑模糊数学里的模糊集情况）
其中A叫做类别集合，其中每一个元素是一个类别，B叫做项集合，其中每一个元素是一个待分类项，f叫做分类器。分类算法的任务就是构造分类器f。
在医生对病人进行诊断就是一个典型的分类过程,任何一个医生都无法直接看到病人的病情,只能观察病人表现出的征兆和各种化验数据来推断病情,这时医生就好比一个分类器,二这个医生的诊断的准确率,与他当初受到的教育方式(构造方法), 病人的征兆是否突出(带分类数据的特性)以及医生的经验多少(训练的样本数量)都有密切关系.

贝叶斯分类的效率

理论上讲,与其它所有分类算法相比较,贝叶斯分类具有最小的出错率.然而，实践中并非总是如此。这是由于对其应用的假定（如类条件独立性）的不准确性，以及缺乏可用的概率数据造成的。然而种种实验研究表明，与判定树和神经网络分类算法相比，在某些领域，该分类算法可以与之媲美。

贝叶斯分类的基础——贝叶斯定理

条件概率:
P(A|B):表示时间B已经发生的前提下,事件A发生的概率,叫做B发生下事件A的条件概率.
其基本求解公式:
下面不加证明直接给出贝叶斯定理:

朴素贝叶斯分类算法

贝叶斯分类算法顾名思义;其是一种思想朴素,十分简单的分类算法
思想基础:对于给出的待分类项,求解在此项出现的条件下各类出现的概率,那个最大,就认为此待分类项属于那个类别.通俗来说，就好比这么个道理，你在街上看到一个黑人，我问你你猜这哥们哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。

朴素贝叶斯工作过程与定义:
a.每个数据样本用一个n维特征向量 表示,分别描述n个属性A1,A2,…An 样本的n个度量.
b.假定有m个类C1,C2….Cm.给定一个位置的数据样本X(即没有类标号),分类法将预测X属于具有最高后验概率(条件X下)的类.就是说,朴素贝叶斯分类将未知的样本分配个类Ci,当且仅当
这样，最大化P(Ci/X) 。其P(Ci/X)最大的类Ci称为最大后验假定。
根据贝叶斯定理:
因时间有限,后期跟新,thanks.