MATLAB机器学习方法之朴素贝叶斯算法

朴素贝叶斯分类算法的核心算法是：

 或

 而如果所有特征都相互独立的话，P（特征|类别k）可以看作：

P（特征1|类别k）*P（特征2|类别k）*P（特征3|类别k）*……*P（特征n|类别k）

那么分别计算P（特征|类别1）、P（特征|类别2）、P（特征|类别3）……P（特征|类别n），取他们之中的最大值即为待分类样本所归附的类别。

MATLAB代码实现：

%朴素贝叶斯算法

train=[1,1,4;1,4,2;3,4,1;2,2,3;1,3,1;2,3,4;3,3,1;2,3,2];%8组训练数据，三个

%属性，第一个分三级，后面两个均分四级。

trainclass=[2 1 1 2 1 2 2 2];%分组

test=[3,3,1];%测试数据组

c=0;

classnum=zeros(1,length(unique(trainclass)));%创建记录每个组分别出现次数的矩阵

a=unique(trainclass);%a记录组号，length（a）记录组数

p=zeros(length(classnum),length(test));%创建概率矩阵

for i=1:length(trainclass)

j=trainclass(i);

classnum(j)=classnum(j)+1;

end%记录每组出现的次数

for k=1:length(test)

for j=1:length(a)

for i=1:length(trainclass)

if(trainclass(i)==a(j))

if(train(i,k)==test(k))

c=c+1;

p(j,k)=c/classnum(j);

end

end

end

c=0;

end

end%计算所有的概率

p1=ones(1,length(a));%创建最终概率的矩阵

for i=1:length(a)

p1(i)=classnum(i)/length(trainclass);

end%先计算p（类别）

for i=1:length(classnum)

for j=1:length(test)

p1(i)=p1(i)*p(i,j);

end

end%由于两个式子的p（特征）一致，故分母不用参与计算

m=max(p1);

for i=1:length(classnum)

if(m==p1(i))

break;

end

end%找出最大概率对应的组别

fprintf('该测试数据属于类 %d\n',i);

%code end

       其合理性可以用一个实例说明：路上走过来一个黑人，旁边人问你他是哪里来的，你十有八九回答从非洲来的，这是因为黑人中非洲人的比例最高。

此算法的特点：

（1）简单、高效、健壮。

（2）相关属性可能会降低朴素贝叶斯分类器的性能，因为对这些属性，条件独立的假设已不成立。