朴素贝叶斯算法

朴素贝叶斯算法

一、定义
贝叶斯分类算法是统计学的一种分类方法，它是一类利用概率统计知识进行分类的算法。在许多场合，朴素贝叶斯(Naïve Bayes，NB)分类算法可以与决策树和神经网络分类算法相媲美，该算法能运用到大型数据库中，而且方法简单、分类准确率高、速度快。在很多实际应用中，贝叶斯理论很好用，比如垃圾邮件分类，文本分类。
二、公式
如果X和Y相互独立，则有：

	P(X,Y)=P(X)P(Y)
	P(X,Y)=P(X)P(Y)

我们接着看看条件概率公式：

	P(Y|X)=P(X,Y)/P(X)
	P(Y|X)=P(X,Y)/P(X)
	P(X|Y)=P(X,Y)/P(Y)
	P(X|Y)=P(X,Y)/P(Y)

或者说:

	P(Y|X)=P(X|Y)P(Y)/P(X)
	P(Y|X)=P(X|Y)P(Y)/P(X)

接着看看全概率公式

	P(X)=∑kP(X|Y=Yk)P(Yk)其中∑kP(Yk)=1
	P(X)=∑kP(X|Y=Yk)P(Yk)其中∑kP(Yk)=1

从上面的公式很容易得出贝叶斯公式：

	P(Yk|X)=P(X|Yk)P(Yk)∑kP(X|Y=Yk)P(Yk)

注：贝叶斯的使用必须是在条件相互独立的情况下才能使用！

三、应用举例



通过利用贝叶斯公式，我们即可得出被选择的箱子是甲箱子的概率。

四、优缺点

1、优点：

1）朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。

2）对小规模的数据表现很好，能个处理多分类任务，适合增量式训练，尤其是数据量超出内存时，我们可以一批批的去增量训练。

3）对缺失数据不太敏感，算法也比较简单（利用公式进行转换即可）常用于文本分类。

2、缺点：

1） 理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。

2）需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。

3）由于我们是通过先验和数据来决定后验的概率从而决定分类，所以分类决策存在一定的错误率。

4）对输入数据的表达形式很敏感。