统计学习方法学习笔记（第四章 朴素贝叶斯法）

朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y),　具体地，学习以下先验概率分布以及条件概率分布。先验概率分布为

P(Y = ck);

条件概率分布为p(X = x | Y = ck)；

条件概率分布有指数级量级的参数，其实际参数的估计是不可行的。那么参数个数为K Sj.

朴素贝叶斯法对条件概率分布作了条件独立性的假设，由于这是一个较强的假设，朴素贝叶斯法也由此得名。

朴素贝叶斯法实际上学习到生成数据的机制，属于生成模型。条件独立假设等于是说明用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯算法变得简单，但有时会牺牲一定的分类准确率。

朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布P(Y = ck | X = x),　对后验概率最大的类作为x的类输出，后验概率计算根据贝叶斯定理进行。

朴素贝叶斯法将实例分到后验概率最大的类中，这等价于期望风险最小化。

在朴素贝叶斯中，学习意味着估计，可以应用极大似然估计法估计相应的概率。

用极大似然估计可能会出现所要估计的概率值为０的情况。这会影响到后验概率的计算结果，使分类产生偏差。解决这一问题的方法是采用贝叶斯估计。