朴素贝叶斯与应用---新闻分类器

朴素贝叶斯与应用

**

一、朴素贝叶斯理论

**
在有一堆样本（特征和类别）的时候，可以通过统计得到p(特征|类别)；
对于公式：

$$p(x)p(y|x)=p(y)p(x|y)$$
则：
$$p（特征）p(类别|特征)=p（类别）p（特征|类别）$$
$$p（类别|特征）=p（类别）p（特征|类别）/p(特征)$$

二、独立假设

实际上，特征可能有很多维：

$$p（features|class）=p（f_{0},f_{1},f_{2},...,f_{n}|c）$$
当为二维是。可以简单的写成： $$p(f_{0},f_{1}|c)=p(f_{1}|c,f_{0})p(f_{0}|c))$$
假设特征值之间相互独立，则： $$p(f_{0},f_{1}|c)=p(f_{1}|c)p(f_{0}|c))$$
得到： $$p(f_{0},f_{1},f_{2},...,f_{n}|c)=\prod_{n}^{i}p(f_{i}|c)$$

三、贝叶斯分类器

对每个类别计算一个概率

$$p(c_{i})$$ ,然后再计算所有特征的条件概率 $$p(f_{0}|c_{i})$$ ，根据贝叶斯找一个最可能的类别： $$P(class_{i}|f_{0},f_{1},f_{2},...,f_{n})=p(class_{i})/p(f_{0},f_{1},f_{2},...,f_{n})*\prod_{n}^{i}p(f_{i}|c)$$