参考文档及代码
Naive Bayes 思想
贝叶斯分类方法是一系列有监督学习方法,其应用贝叶斯理论,并使用“各特征对之间相互独立”的假设(Naive assumption)。
给定类别y
和一个相互依赖的特征向量
x1,⋯,xn
, 贝叶斯理论描述了如下理论:
p(y|x1,⋯,xn)=p(x1⋯xn|y)p(y)p(x1,⋯,xn)
使用朴素的独立性假设,有 p(xi|y,x1,⋯,xi−1)=p(xi|y)
由此得到
p(y|x1,⋯,xn)=Πni=1p(xi|y)⋅p(y)p(x1,⋯,xn)
对于分类而言, p(x_1,⋯,x_n) 是定值,因而有
p(y|x1,⋯,xn)∝Πni=1p(xi|y)⋅p(y)
有
y^=argmaxyΠni=1p(x_i|y)⋅p(y)
最后,不同的Naive Bayes , 其对 p(y|x) 的计算不同。