朴素贝叶斯分类器运用
贝叶斯定理
p(x,y)=p(x)p(x|y)=p(y)p(y|x)
和特征独立性假设
假设特征向量三维,x=(x1,x2,x3)
p((x1,x2,x3)|y)=p(x1|y)p(x2|y)p(x3|y)
在进行分类
首先在训练集上计算出先验概率p(y1), p(y2), ..., p(yk)
和条件概率分布p(x1=a1|y1), p(x1=a2|y1), p(x1=a3|y1), ..., p(x1=an1|y1),假设x1有n个取值,
p(x1=a1|y2), ..., p(x3=cn3|yk)
然后给定x时,
求出yi,使得p(y|x)~p(y=yi)p(x1=x1|yi)p(x2=x2|yi)p(x3=x3|yi)最大的yi,即是该分类
注意的是当xi不是离散变量,而是连续变量是,可以使用训练数据得到一个正太分布,p(xi|y)就可以根据正太分布算出来。
example http://www.ruanyifeng.com/blog/2013/12/naive_bayes_classifier.html最后一个例子