拉普拉斯修正——机器学习中常用的数据平滑处理方法

拉普拉斯修正平滑方法

在朴素贝叶斯分类器中，计算条件概率$P(x|y)$时，如果在某个类别下没有观测到某个特征值，那么P(x|y)的值就会变成0，这会导致朴素贝叶斯分类器失去分类能力。例如，在周志华老师的西瓜书的第7.3章提到，在西瓜数据集3.0中对于一个“敲声=清脆”的测试用例，有$P(敲声=清脆|好瓜=是)$=0，因此基于朴素贝叶斯公式，无论该样本的其它属性是什么，它的分类结果都会是“好瓜=否”。为了解决这个问题，我们需要对条件概率进行平滑，使得即使在没有观测到某个特征值的情况下，对应的概率值也不会为0。

**拉普拉斯修正的本质是给每个计数加上一个较小的数，该值通常为1,既保证了每个属性概率非零又保证了概率和为1。**假设用N表示训练集中总共的分类数;属性$a_i$可能的取值数用$N_i$表示; $D_b$表示样本中事件b发生的次数，$D_{(}b,a_i)$表示属于事件b,且属性为$a_i$的样本个数; D表示样本总数，则修正式为
$$先验概率修正后：P(b)=\frac{D_b+1}{D+N}$$

$$条件概率修正后：P(a_i|b)=\frac{D_{(}b,a_i)+1}{D_b+N_i}$$

拉普拉斯修正是否会提高实验结果准确率？有哪些因素会影响它的性能？

在没有进行平滑的情况下，采用拉普拉斯修正方法对朴素贝叶斯分类器的分类准确率通常会有一定的提升。拉普拉斯修正的主要目的是使得计算概率不出现0的情况，从而提高分类器的稳定性和准确性

拉普拉斯修正的效果也受到样本数量和特征数量的影响。当训练样本数量较小时，拉普拉斯修正可以提高模型的稳定性。但当训练样本数量较大时，拉普拉斯修正可能会引入过多的噪声，从而降低模型的准确率。

周志华.机器学习[M].北京:清华大学出版社,2016:147-169