ML之朴素贝叶斯

1.贝叶斯分类器

1.1 简介

贝叶斯决策论是概率框架下实施决策的基本方法。对于分类任务来说，在所有相关概率都已知的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

1.1.2 贝叶斯分类的基础-贝叶斯定理

$$P(B|A)=\frac{P(A|B)P(B)}{P(A)}$$
朴素贝叶斯分类的定义：

分类流程如下图：

1.2 朴素贝叶斯法（naive Bayes）

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。
朴素贝叶斯是典型的生成学习方法。

1.2.1 朴素贝叶斯法的学习与分类

• 基本方法

• 后验概率最大化的含义

1.2.2 朴素贝叶斯法的参数估计

• 极大似然估计

• 学习与分类算法

  • 朴素贝叶斯算法（naive Bayes algorithm)

1.计算先验概率以及条件概率

$$P(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$$

$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{j}l,y_i=c_k)}{\sum _{i=1}^{N}I(y_i=c_k)}$$
$j=1,2,...,n;l=1,2,...,S^j;k=1,2,...,K$

2.对于给定的示例$x=(x^{(1)},x^{(2)},...,x^{(n)}{)}^T$,计算：
$$P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

$$k=1,2,...,K$$

3.确定实例的类

$$y=arg\underset{c_k}{\max }P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

• 参考：
  • 李航 《统计学习方法 第二版》