《统计学习方法》笔记——朴素贝叶斯算法

朴素贝叶斯算法概述

朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

算法流程

1.朴素贝叶斯法是典型的生成学习方法，生成方法由训练数据学习联合概率分布P(X,Y),然后求得后验概率分布P(Y|X)。即，利用训练数据学习P(X|Y)和P(Y)的估计，得到联合概率分布：

$$P(X,Y)=P(Y)P(X|Y)$$
概率估计方法可以是极大似然估计或贝叶斯估计。
2.朴素贝叶斯的基本假设是条件独立， $$P(X=x|Y=c_{k})=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_{k})=\prod_{j=1}^{n}P(X^{(j)} =x^{(j)}|Y=c_{k})$$
这是一个较强的假设。由于这一假设，模型包含的条件概率的数量大为减少，朴素贝叶斯的学习与预测大为简化。因而朴素贝叶斯算法高效且易于实现，其缺点是分类的性能不一定很高。
3.朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测。 $$P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(Y)P(X|Y)}{\sum_{Y}^{ }P(Y)P(X|Y)}$$

将输入x分到后验概率最大的类y。

$$y=arg maxP(Y=c_{k})\prod_{j=1}^{n}P(X_{j}=x^{(j)}|Y=c_{k})$$
后验概率最大等价于0-1损失函数时的期望风险最小化。

优缺点及适用范围

优点：在数据较小的情况下仍然有效，可以处理多类别问题。
缺点：对于输入数据的准备方式较为敏感。
适用数据类型：标称型数据。