朴素贝叶斯法--简单总结

1、三个重要公式：
（1）条件概率：

$$P(A|B)=\frac{P(AB)}{P(B)}$$
（2）全概率公式：
$$P(A)=\sum_i P(A|B_i)P(B_i)$$
（3）贝叶斯（Bayes）公式：
$$\begin{align} P(B_i|A) &=\frac{P(AB_i)}{P(A)}\\ & =\frac{联合概率}{全概率}\\ & =\frac{P(A|B_i)P(Bi)}{\sum_j P(A|B_j)P(B_j)} \end{align}$$
2、 先验概率：根据以往经验和分析得到的概率。
后验概率：得到“结果”的信息后重新修正的概率。
3、 适用场景：多类分类。
4、 模型类型：生成模型。
5、 思想：朴素贝叶斯法利用贝叶斯定理与学习到的联合概率模型进行分类预测。
联合概率的学习： $P(X=x,Y=c_k)=P(Y=c_k)P(X=x|Y=c_k)$
由于估计条件概率P(X=x|Y=c_k)有指数级的参数，因此，通过条件独立性假设简化估计。条件独立性假设是：用于分类的特征在类确定的条件下是条件独立的，即
$P(X=x|Y=c_k)=\prod_{j=1}^{n} p(X^{(j)}=x^{(j)}|Y=c_k)$
朴素贝叶斯算法：
输入：训练数据集T，实例x
输出：实例x的分类
(1) 计算先验概率及条件概率：（可用极大似然估计或贝叶斯估计）
$P(Y=c_k)$
$P(X^{(j)}=a_{jl}|Y=c_k)$
(2) 对于给定的实例x，计算：
$P(Y=c_k) \prod_{j=1}^{n} p(X^{(j)}=x^{(j)}|Y=c_k)$， $k=1,\dots,K$
(3) 确定实例x的类：（后验概率最大的类）
$$\begin{align} y=arg \max_{c_k} P(Y=c_k) \prod_{j=1}^{n} p(X^{(j)}=x^{(j)}|Y=c_k) \end{align}$$
6、 朴素贝叶斯法中后验概率最大化的意义：期望风险函数最小化。
7、 极大似然估计法的基本思想：利用已知总体的概率分布和样本，根就概率最大的事件在一次试验中最有可能出现的原理，求总体的概率分布（或概率密度）中所含未知参数的点估计方法。
8、 贝叶斯估计是为了减少极大似然估计法可能产生的偏差。
9、 朴素贝叶斯法的优点：学习与预测大大简化，高效且易于实现。
缺点：分类的性能不一定很高。
10、当假设输入变量之间（特征之间）存在概率依存关系，模型就变成了 贝叶斯网络。

参考：李航《统计学习方法》