朴素贝叶斯多分类matlab,朴素贝叶斯分类matlab实现

实验二 朴素贝叶斯分类

一、实验目的

通过实验，加深对统计判决与概率密度估计基本思想、方法的认识，了解影响Bayes 分类器性能的因素，掌握基于Bayes 决策理论的随机模式分类的原理和方法。

二、实验内容

设计Bayes 决策理论的随机模式分类器，用matlab 实现。

三、方法手段

Bayes 分类器的基本思想是依据类的概率、概密，按照某种准则使分类结果从统计上讲是最佳的。换言之，根据类的概率、概密将模式空间划分成若干个子空间，在此基础上形成模式分类的判决规则。准则函数不同，所导出的判决规则就不同，分类结果也不同。使用哪种准则或方法应根据具体问题来确定。

四、Bayes 算法

朴素贝叶斯分类或简单贝叶斯分类的工作过程如下：

(1)每个数据样本用一个n 维特征向量{}12,,...n X x x x =表示，分别描述对n 个属性A 1,A 2,…A n 样本的n 个度量。

(2)假定有m 个类C 1,C 2,…C m 。给定一个未知的数据样本X (即没有类标号)，分类法将预测X 属于具有最高后验概率(条件X 下)的类。即是说，朴素贝叶斯分类将未知的样本分配给类C i ，当且仅当

()(),1,i j P C X

P C X j m j i >

≤≤≠

(2.1)

这样，最大化()i P C X 。其()i P C X 最大的类C i 称为最大后验假定。根据贝叶斯定理

()()()

()

P X H P H

P H X P X

=

，

()()()

()

i i i P X C P C P C X P X

=

(2.2)

(3)由于P(X)对于所有类为常数，只需要()()i i P X C P C 最大即可。如果类的先验概率未知，则通常假定这些类是等概率的，即P(C 1)=P(C 2)=…=P(C m )。并据此只对()i P X C 最大化。否则，最大化()()i i P X C P C 。注意，类的先验概率可以用()i i P C s s =计算其中 s i 是类C i 中的训练样本数，而s 是训练样本总数。

(4)给定具有许多属性的数据集，计算()i P X C 的开销可能非常大。为降低计算

()i P X C 的开销，可以做类条件独立的朴素假定。给定样本的类标号，假定属性值相互条件