朴素贝叶斯法naive Bayes

本文是《统计学习方法》李航著学习笔记。贝叶斯推断的有关论述参考《贝叶斯方法 概率编程与贝叶斯推断》[加]Cameron Davidson-Pilon著。

朴素贝叶斯法是一种基于“贝叶斯定理”“条件独立性假设”的分类方法。

朴素贝叶斯法是一种生成模型，首先，生成训练数据的联合概率分布P(X,Y)；其次，对于给定的新预测点x，求出使条件概率P(Y|X=x)最大的Y所在分类。

先给定一些基本的统计学概念定义的理解：

(下面简要叙述极大似然估计，想了解更多信息请参看陈希孺的相关统计著作)

朴素贝叶斯法的学习过程:

以下分别选用“极大似然估计”和“贝叶斯估计”两种方法计算先验概率和条件概率！

对于极大似然估计：

对于贝叶斯估计：

在随机变量各取值的"频率"上加一个整数，从而避免了极大似然估计中出现0概率值影响后验概率计算的情况。

朴素贝叶斯法的预测分类过程:

后验概率最大化<=>期望风险最小化：