朴素贝叶斯算法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法（与贝叶斯估计是不同的方概念），对于给定的训练数据集，首先基于特征条件独立假设学习输入和输出的联合概率分布；然后基于此模型，对于给定的输入 $x$ ，利用贝叶斯定理求出后验概率最大的输出 $y$ 。朴素贝叶斯方法实现简单，学习与预测的效率都很高，是一种常用的方法。

1. 基本方法

设输入空间 $\mathcal{X}\subseteq {\mathbf{R}}^{\mathbf{n}}$ 为 $\text{n}$ 维向量的集合，输出空间为类标记集合 Y = { c 1 , … , c k } \mathcal{Y}= \{c_1,\ldots,c_k\} Y={c1​,…,ck​}。输入为特征向量 $x\in \mathcal{X}$ ,输出为类标记 $y\in \mathcal{Y}$ 。 $X$ 是定义在输入空间 $\mathcal{X}$ 上的随机向量，$Y$ 是定义在输出空间的随机变量，$P(X,Y)$ 是 $X$ 和 $Y$ 的联合概率分布，训练数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } T=\{ (x_1,y_1),(x_2,y_2),\ldots,(x_N,y_N) \} T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}

由 $P(X,Y)$ 独立同分布产生。
朴素贝叶斯法通过训练数据集来学习联合概率分布 $P(X,Y)$ ，即学习先验概率分以及条件概率分布，先验概率分布

$$P(Y=c_k),k=1,2,\dots ,K$$

条件概率分布
$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\dots ,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,\dots ,K$$
注意到条件概率分布 $P(X=x|Y=c_k)$ 有指数级数量的参数，其估计实际上是不可行的。假设$x^{(j)}$ 可取值有 $S_j$ 个，$j=1,2,\dots ,n$ , $Y$ 可取值有 $K$ 个，那么参数个数为 $K{\prod }_{i=1}^n{S}_j$ 。
朴素贝叶斯对条件概率分布做了各特征独立的假设。由于这是一个较强的假设，朴素贝叶斯也就由此得名。具体的，其假设内容为
$$\begin{array}{rl}P(X=x|Y=c_k)& =P(X^{(1)}=x^{(1)},\dots ,X^{(n)}=x^{(n)}|Y=c_k)\\ & =\prod _{i=1}^{n}P(X^{(j)}=x(j)|Y=c_k)(\text{1})\end{array}$$

朴素贝叶斯属于生成模型。由于做了各特征独立的假设，使得朴素贝叶斯法变得简单，但同时也就牺牲了一定得分类准确度。
朴素贝叶斯法进行分类时，对给定的输入的 $x$ ，通过学习到的模型计算后验概率分布 $P(Y=c_k|X=x)$ ,将后验概率最大的类作为模型预测的输出，后验概率计算方法如下
$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\begin{array}{c}{\sum }_{x}P(X=x|Y=c_k)P(Y=c_k)\end{array}}(\text{2})$$

将式 $(\text{1})$ 带入式 $(\text{2})$ 有
$$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X(j)=x(j)|Y=c_k)}{\begin{array}{c}{\sum }_{k}P(Y=c_k){\prod }_{j}P(X(j)=x(j)|Y=c_k)\end{array}}k=1,2,\dots ,K$$

于是朴素贝叶斯分类器可以表示为
$$y=f(x)=\arg \underset{c_i}{\max }\frac{P(Y=c_k){\prod }_{j}P(X(j)=x(j)|Y=c_k)}{\begin{array}{c}{\sum }_{k}P(Y=c_k){\prod }_{j}P(X(j)=x(j)|Y=c_k)\end{array}}$$

注意到，分母中对所有 $c_i$ 都是相同的，所以,
$$y=\arg \underset{c_i}{\max }P(Y=c_k)\prod _{j}P(X(j)=x(j)|Y=c_k)$$

2. 参数估计

在朴素贝叶斯法中，学习意味着估计 $P(Y=c_k)、P(X^{(j)}=x(j)|Y=c_k)$。可以应用极大似然估计法估计相应的概率。先验概率的极大似然估计量是
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\dots ,K$$

设第 $j$ 个特征 $x^{(j)}$ 可能取值的范围为 { a j 1 , a j 2 , … , a j s j } \{a_{j1},a_{j2},\ldots,a_{js_j}\} {aj1​,aj2​,…,ajsj​​} ,条件概率 $P(X^{(j)}=a_{jl}|Y=c_k)$ 的极大似然估计量是
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$

$$j=1,2,\dots ,n;l=1,2,\dots ,S_j;k=1,2,\dots ,K$$

式中，$x_i^{(j)}$ 是第 $i$ 个样本的第 $j$ 个特征；$a_{il}$ 是第 $j$ 个特征可能取的第 $l$ 个值，$I$ 为指示函数。

3. 算法描述

$\text{Input:}$
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } T=\{ (x_1,y_1),(x_2,y_2),\ldots,(x_N,y_N) \} T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}

其中$x_i=(x_i^{(1)},x_i^{(2)},\dots ,x_i^{(n)}{)}^T$ ,$x_i^{(j)}$ 是第 $i$ 个样本的第 $j$ 个特征， x i ( j ) ∈ { a j 1 , a j 2 , … , a j s j } x_i^{(j)}\in\{ a_{j1},a_{j2},\ldots,a_{js_j} \} xi(j)​∈{aj1​,aj2​,…,ajsj​​} , $a_{il}$ 是第 $j$ 个特征可能取的第 $l$ 个值
$\text{Output:}$ 实例 $x$ 的分类

1. 计算先验概率以及条件概率
   $$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\dots ,K$$

$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(X_i^{(j)}=a_{jl},Y=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$

$$j=1,2,\dots ,n;l=1,2,\dots ,S_j;k=1,2,\dots ,K$$

2. 对于给定的实例 $x=(x^{(1)},x^{(2)},\dots ,x^{(n)}{)}^T$ ,计算
   $$P(Y=c_k)\prod _{j}P(X(j)=x(j)|Y=c_k)k=1,2,\dots ,K$$

3. 确定实例 $x$ 的类
   $$y=\arg \underset{c_i}{\max }P(Y=c_k)\prod _{j}P(X(j)=x(j)|Y=c_k)$$

4. 贝叶斯估计

用极大似然估计可能会出现估计值为 0 的情况，这时会影响到后验概率的计算结果，会使分类产生偏差，解决这一问题的方法是采用贝叶斯估计。具体先验概率和条件概率的贝叶斯估计值为
$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$

$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$
式中$\lambda \ge 0$ 。等价于在随机变量各个取值上的频数上赋予一个正数 $\lambda >0$ 。当 $\lambda =0$ 时就是极大似然估计。常取 $\lambda =1$ ，这是称为拉普拉斯平滑。显然，对任何 $l=1,2,\dots ,S_j,k=1,2,\dots ,K$ ,有
$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)>0$$

$$\sum _{i=1}^{S_j}{P}_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=1$$