朴素贝叶斯，拉普拉斯平滑

条件概率与贝叶斯定理

朴素贝叶斯

拉普拉斯平滑

目的:

在训练集有限的情况下，给定类别，某一特征值出现的条件概率可能为0，这样在贝叶斯公式中分子和分母都为0，为了避免这种情况，就要用到拉普拉斯平滑。

即：在文本分类的问题中，当一个词语没有在训练样本中出现，该词语调概率为0，使用练乘计算文本出现概率时也为0.这是不合理的，不能因为一个事件没有观察到就武断的认为该事件的概率是0.

理论支撑：

为了结局零概率的问题，法国数学家拉普拉斯最早突出用加1的方法估计没有出现过的现象的概率，所以加法平滑也叫做拉普拉斯平滑。

嘉定训练样本很大时，每个分量X的计数加1造成估计概率变化可以忽略不记，但可以方便有效的避免零概率问题。

应用举例：

假设在文本分类中，有3个类，C1，C2，C3，在指定的训练样本中，某个词语K1，在各个类中观测计数分别为0，990，10，K1的概率为0，0.99，0.01，对这三个量使用拉普拉斯平滑的计算方法如下：

1/1003=0.001，991/1003=0.922，11/1003=0.011

在实际的使用中也经常使用加lambda(1>=lambda>=0)来代替简单的加1。如果对N个计数都加上lambda,这时分母也要记得加上N*lambda。