朴素贝叶斯分类器

朴素贝叶斯分类器运用

贝叶斯定理

p(x,y)=p(x)p(x|y)=p(y)p(y|x)

和特征独立性假设

假设特征向量三维，x=(x1,x2,x3)

p((x1,x2,x3)|y)=p(x1|y)p(x2|y)p(x3|y)

在进行分类

首先在训练集上计算出先验概率p(y1), p(y2), ..., p(yk)

和条件概率分布p(x1=a1|y1), p(x1=a2|y1), p(x1=a3|y1), ..., p(x1=an1|y1),假设x1有n个取值，

p(x1=a1|y2), ..., p(x3=cn3|yk)

然后给定x时，

求出yi,使得p(y|x)~p(y=yi)p(x1=x1|yi)p(x2=x2|yi)p(x3=x3|yi)最大的yi,即是该分类

注意的是当xi不是离散变量，而是连续变量是，可以使用训练数据得到一个正太分布，p(xi|y)就可以根据正太分布算出来。

example http://www.ruanyifeng.com/blog/2013/12/naive_bayes_classifier.html最后一个例子