统计学习方法：朴素贝叶斯法 (四)

主要思想：通过训练数据学习先验概率分布P(Y=c)和条件概率分布P(X=x|Y=c)，从而学习联合概率分布P(X=x, Y=c)。所以是生成模型。

计算公式：

后验概率最大化，将实例分到后验概率最大的类中。

每一个概率可通过极大似然估计 (通过采样估计真实分布中的参数值，在参数的所有可能取值中寻找一个值能够最大化采样结果的可能性)得到。而极大似然估计的准确性依赖于样本量的大小，样本量越大，越能反映真实分布。

极大似然估计的另一个问题：可能因为样本覆盖不全面，导致需要估计的概率值为0的情况，这会影响后验概率的计算结果，使分类产生偏差。

解决方法：使用贝叶斯估计，条件概率及先验概率的贝叶斯估计分别如下：

其中当lambda值为1时，即为常说的拉普拉斯平滑。