朴素贝叶斯（naive bayes）分类

1. 概念回顾

1.1 条件概率公式

条件概率是指在事件B发生的条件下，事件A发生的概率。条件概率表示为$P(A|B)$，读作“A在B发生的条件下发生的概率”。若只有两个事件A、B，那么有：

$$P(A|B)=\frac{P(AB)}{P(B)}$$

1.2 全概率公式

若事件$B_1,B_2,...,B_n$构成一个完备事件组且都有正概率，则对任意一个事件A都有：

$$P(A)=\sum _{i=1}^{n}P(B_i)P(A|B_i)$$

1.3 贝叶斯定理

贝叶斯定理是关于随机事件A和B的条件概率（或边缘概率）的一则定理。

$$\begin{array}{rlr}P(B_i|A)& =\frac{P(B_i)P(A|B_i)}{P(A)}& =\frac{P(B_i)P(A|B_i)}{{\sum }_{j=1}^{n}P(B_j)P(A|B_j)}\end{array}$$

贝叶斯定理建立了$P(A|B)$和$P(B|A)$之间的联系，结合条件概率公式，具体推导过程为：

$$\begin{gathered} P(A|B)=\frac{P(AB)}{P(B)}\Rightarrow P(AB)=P(A|B)P(B) \\ P(B|A)=\frac{P(AB)}{P(A)}=\frac{P(A|B)P(B)}{P(A)} \end{gathered}$$

2. 朴素贝叶斯（Naive Bayes）

2.1 定义

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法，其名称中的“朴素”就体现在“特征条件独立（所有特征变量相互独立）”这一假设中。朴素贝叶斯法的基本假设是条件独立性。

基本步骤：

• 对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；
• 然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

参考博文[2]中给出了贝叶斯原理（贝叶斯定理）、贝叶斯分类和朴素贝叶斯之间的直观解释图示：

2.2 基本方法（公式推导）

首先定义：

• 输入空间为$I\subseteq R^n$为n维向量的集合，输出空间为类标签集合$C=c_1,c_2,...,c_K$；
• 输入为特征向量$x\in I$，输出为类标签（class label，代表所属类别）$y\in C$；
• $X$是定义在输入空间$I$上的随机向量，$Y$是定义在空间$C$上的随机变量；
• $P(X,Y)$是$X$和$Y$的联合概率分布；
• 训练数据集$T=(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$由$P(X,Y)$独立同分布产生。

则，朴素贝叶斯法通过训练数据集$T$学习得到联合概率分布$P(X,Y)$。具体来说，就是利用训练数据学习得到先验概率$P(Y)$及条件概率$P(X|Y)$的估计，然后求得联合概率分布。先验概率和条件概率的估计方法可以是极大似然估计或贝叶斯估计等方法，具体在下一节中介绍。

先验概率分布为：

$$P(Y=c_k),k=1,2,...,K\text{\hspace{1em}(1)}$$

条件概率分布为：

$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,...,K\text{\hspace{1em}(2)}$$

由（1）和（2）结合条件概率公式，可以计算得到联合概率分布$P(X,Y)$。

条件独立性假设是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。

根据条件独立性的假设，有：

$$\begin{array}{rl}P(X=x|Y=c_k)& =P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)})\\ & =\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)\end{array}\text{\hspace{1em}(3)}$$

根据贝叶斯定理并结合公式（3）可计算后验概率为：

$$\begin{array}{rl}P(Y=c_k|X=x)& =\frac{P(X=x|Y=c_k)P(Y=c_k)}{P(X=x)}\\ & =\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}\\ & =\frac{P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}\end{array}\text{\hspace{1em}(4)}$$

这是朴素贝叶斯法的基本公式。那么，朴素贝叶斯分类器就是在类标签集合$C$中找到$c_k$使其满足下式：

$$y=f(x)=argma{x}_{c_k}\frac{P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}\text{\hspace{1em}(5)}$$

上式中分母对所有$c_k$相同，因此可以简化为：

$$y=argma{x}_{c_k}P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)\text{\hspace{1em}(7)}$$

2.3 朴素贝叶斯法的参数估计

这里是前一个章节（2.2）部分的扩展，通过概率估计方法求得先验概率和条件概率，进而求取联合概率。

2.3.1 极大似然估计

（1）公式推导
先验概率$P(Y=c_k)$的极大似然估计是：

$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K\text{\hspace{1em}(8)}$$

即为类标签$c_k$出现的频率。

设第j个特征$x^{(j)}$可能取值的集合为 { a j 1 , a j 2 , . . . , a j S j } \{a_{j1},a_{j2},...,a_{jS_j}\} {aj1​,aj2​,...,ajSj​​}，则根据条件概率公式，条件概率$P(X^{(j)}=a_{jl}|Y=c_k)$的极大似然估计为：

$$\begin{gathered} P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)} \\ j=1,2,...,n;l=1,2,...,S_j;k=1,2,...,K\text{\hspace{1em}(9)} \end{gathered}$$

（2）参考示例
（书中例题4.1）试由表中的训练数据学习一个朴素贝叶斯分类器并确定$x=(2,S{)}^T$的类标签$y$。表中$X^{(1)}$、$X^{(2)}$为特征，取值的集合为 A 1 = { 1 , 2 , 3 } A_1=\{1,2,3\} A1​={1,2,3}， A 2 = { S , M , L } A_2=\{S,M,L\} A2​={S,M,L}，$Y$为类标签， Y ∈ C = { 1 , − 1 } Y\in C=\{1,-1\} Y∈C={1,−1}。

2.3.2 贝叶斯估计&拉普拉斯平滑

（1）公式推导
极大似然估计可能会出现所要估计的概率值为0的情况，这会影响结果，解决这个问题可以采用贝叶斯估计。

为了解决零概率的问题，法国数学家拉普拉斯最早提出用加1的方法估计没有出现过的现象的概率，所以加法平滑也叫做拉普拉斯平滑（Laplace smoothing）。假定训练样本很大时，每个分量的计数加1造成的估计概率变化可以忽略不计，但可以方便有效的避免零概率问题。在实际的使用中也经常使用加$\lambda$来代替简单加1。如果对N个计数都加上$\lambda$，这时分母也要记得加上$N\ast \lambda$。

条件概率的贝叶斯估计是：

$$P(X^{(j)}=a_{jl},y_i=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }\text{\hspace{1em}(10)}$$

在上式中，$\lambda \ge 0$。且当$\lambda =0$就是极大似然估计，当$\lambda =1$时就是拉普拉斯平滑。

先验概率的贝叶斯估计为：

$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }\text{\hspace{1em}(11)}$$

（2）参考示例
（书中例题4.2）问题同例4.1，按照拉普拉斯平滑估计概率，即取$\lambda =1$。

参考

[1] 《统计学习方法》第四章. 李航
[2] https://blog.csdn.net/qiu_zhi_liao/article/details/90671932
[3] https://www.cnblogs.com/bqtang/p/3693827.html