机器学习(Machine Learning)笔记系列4：朴素贝叶斯（Naive Bayes）

什么是朴素贝叶斯

朴素贝叶斯(naïve Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单,学习与预测的效率都很高,是一种常用的方法。

1. 朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)。具体地,学习以下先验概率分布及条件概率分布。
   先验概率分布：
   $$\begin{array}{r}P\left(Y=c_k\right),k=1,2,\cdots ,K\end{array}\text{\hspace{1em}(1)}$$
   条件概率分布：
   $$\begin{array}{r}P\left(X=x|Y=c_k\right)=P\left(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k\right),k=1,2,\cdots ,K\end{array}\text{\hspace{1em}(2)}$$
   通过公式(1),(2)可以学到联合概率分布$P(X,Y)$。
   朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假设，朴素贝叶斯法也由此得名。具体地，条件独立性假设是
   $$\begin{array}{r}\begin{array}{rl}P\left(X=x|Y=c_k\right)& =P\left(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k\right)\\ & =\prod _{j=1}^{n}P\left(X^{(j)}=x^{(j)}|Y=c_k\right)\end{array}\end{array}\text{\hspace{1em}(3)}$$
   朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。
   朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布$P(Y＝c_k|X＝x)$，将后验概率最大的类作为x的类输出。后验概率计算根据贝叶斯定理进行：
   $$\begin{array}{r}P\left(Y=c_k|X=x\right)=\frac{P\left(X=x|Y=c_k\right)P\left(Y=c_k\right)}{{\sum }_{k}P\left(X=x|Y=c_k\right)P\left(Y=c_k\right)}\end{array}\text{\hspace{1em}(4)}$$
   将(3)代入(4)可得：
   $$\begin{array}{r}P\left(Y=c_k|X=x\right)=\frac{P\left(Y=c_k\right){\prod }_{j}P\left(X^{(j)}=x^{(j)}|Y=c_k\right)}{{\sum }_{k}P\left(Y=c_k\right){\prod }_{j}P\left(X^{(j)}=x^{(j)}|Y=c_k\right)},k=1,2,\cdots ,K\end{array}\text{\hspace{1em}(5)}$$
2. 因为是用于分类，所以我们只需将(5)式最大概率计算计算出来，那么新输入实例就是该最大概率对应的类：
   $$\begin{array}{r}y=f(x)=\arg \underset{c_k}{\max }\frac{P\left(Y=c_k\right){\prod }_{j}P\left(X^{(j)}=x^{(j)}|Y=c_k\right)}{{\sum }_{k}P\left(Y=c_k\right){\prod }_{j}P\left(X^{(j)}=x^{(j)}|Y=c_k\right)}\end{array}\text{\hspace{1em}(6)}$$
   这里有一点需要注意，计算过程中，分母都是一样的，因此只需要比较分子的大小即可，那么(6)式可以等价于求：
   $$\begin{array}{r}y=\arg \underset{c_k}{\max }P\left(Y=c_k\right)\prod _{j}P\left(X^{(j)}=x^{(j)}|Y=c_k\right)\end{array}\text{\hspace{1em}(7)}$$

朴素贝叶斯的参数估计

1. 极大似然估计
   在朴素贝叶斯法中，学习意味着估计$P(Y＝c_k)$和$P(X^{(j)}＝x^{(j)}|Y＝c_k)$。可以应用极大似然估计法估计相应的概率。先验概率$P(Y=c_k)$的极大似然估计是:
   $$\begin{array}{r}P\left(Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}{N},k=1,2,\cdots ,K\end{array}\text{\hspace{1em}(8)}$$
   设第j个特征x^{(j)} 可能取值的集合为$(a_{j1},a_{j2},\dots ,a_{jSj})$，条件概率$P(x^{(j)}＝a_{jl}|Y＝c_k)$的极大似然估计是:
   $$\begin{array}{r}P\left(X^{(j)}=a_{jl}|Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(x_i^{(j)}=a_{jl},y_i=c_k\right)}{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}\\ j=1,2,\cdots ,n;l=1,2,\cdots ,S_i;k=1,2,\cdots ,K\end{array}\text{\hspace{1em}(9)}$$
   式中， $x_i^j$是第$i$个样本的第$j$个特征；$a_{jl}$ 是第$j$个特征可能取的第$l$个值；$I$为指示函数。
2. 学习与分类算法
   在1. 中计算先验概率和条件概率后，对于给定的实例$X={\left(x^{(1)},x^{(2)},\dots ,x^{(n)}\right)}^{\mathrm{T}}$，计算$P\left(Y=c_k\right){\prod }_{j=1}^{n}P\left(X^{(j)}=x^{(j)}|Y=c_k\right),k=1,2,\cdots ,K$，然后再根据公式(7)确定实例$X$的类。
3. 贝叶斯估计
   用极大似然估计可能会出现所要估计的概率值为0的情况。这时会影响到后验概率的计算结果，使分类产生偏差。解决这一问题的方法是采用贝叶斯估计。具体地，条件概率的贝叶斯估计是
   $$\begin{array}{r}{P}_{\lambda }\left(X^{(j)}=a_{jl}|Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(x_i^{(i)}=a_{jl},y_i=c_k\right)+\lambda }{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)+S_j\lambda }\end{array}\text{\hspace{1em}(10)}$$
   式中 $\lambda \ge 0$。等价于在随机变量各个取值的频数上赋予一个正数 $\lambda >0$。当 $\lambda ＝0$时就是极大似
   然估计。常取 $\lambda ＝1$，这时称为拉普拉斯平滑（Laplace smoothing）。显然，对任何$l＝1,2,\dots ,S_j，k＝1,2,\dots ,K$有:
   $$\begin{array}{r}\begin{array}{l}{P}_{\lambda }\left(X^{(j)}=a_{jl}|Y=c_k\right)>0\\ {\sum }_{l=1}^{S_j}P\left(X^{(j)}=a_{jl}|Y=c_k\right)=1\end{array}\end{array}\text{\hspace{1em}(11)}$$
   表明式(9)确为一种概率分布。同样，先验概率的贝叶斯估计是:
   $$\begin{array}{r}{P}_{\lambda }\left(Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)+\lambda }{N+K\lambda }\end{array}\text{\hspace{1em}(12)}$$

例子：垃圾邮件分类

假设有3封垃圾邮件和3封正常邮件。
其中3封垃圾邮件提取的特征词分别为：

1. 点击，更多，信息
2. 最新，产品
3. 信息，点击，链接

3封垃圾邮件提取的特征词分别为：

1. 开会
2. 信息，详见，邮件
3. 最新，信息

那么“新邮件特征词：最新，产品，点击，链接”是垃圾邮件还是正常邮件：
step 1: 构建词库
  database = {点击，更多，信息，最新，产品，链接，开会，详见，邮件}，即K=9
step 2: 选取$\lambda =1$，即采用拉普拉斯平滑(Laplace smoothing)，计算先验概率和条件概率
  先验概率：P(垃圾)=3/(3+3)=1/2
  先验概率：P(正常)=3/(3+3)=1/2
  条件概率：
$$\begin{array}{r}P(点击/垃圾)=\frac{2+1}{8+9}=\frac{3}{17}\\ P(更多/垃圾)=\frac{1+1}{8+9}=\frac{2}{17}\\ P(信息/垃圾)=\frac{2+1}{8+9}=\frac{3}{17}\\ P(最新/垃圾)=\frac{1+1}{8+9}=\frac{2}{17}\\ P(产品/垃圾)=\frac{1+1}{8+9}=\frac{2}{17}\\ P(链接/垃圾)=\frac{1+1}{8+9}=\frac{2}{17}\\ P(开会/垃圾)=\frac{0+1}{8+9}=\frac{1}{17}\\ P(详见/垃圾)=\frac{0+1}{8+9}=\frac{1}{17}\\ P(邮件/垃圾)=\frac{0+1}{8+9}=\frac{1}{17}\end{array}\text{\hspace{1em}(13)}$$
$$\begin{array}{r}P(点击/正常)=\frac{0+1}{6+9}=\frac{1}{15}\\ P(更多/正常)=\frac{0+1}{6+9}=\frac{1}{15}\\ P(信息/正常)=\frac{2+1}{6+9}=\frac{3}{15}\\ P(最新/正常)=\frac{1+1}{6+9}=\frac{2}{15}\\ P(产品/正常)=\frac{0+1}{6+9}=\frac{1}{15}\\ P(链接/正常)=\frac{0+1}{6+9}=\frac{1}{15}\\ P(开会/正常)=\frac{1+1}{6+9}=\frac{2}{15}\\ P(详见/正常)=\frac{1+1}{6+9}=\frac{2}{15}\\ P(邮件/正常)=\frac{1+1}{6+9}=\frac{2}{15}\end{array}\text{\hspace{1em}(14)}$$
step 3: 确定实例X的类
  X={最新，产品，点击，链接}
$$\begin{array}{r}P1(垃圾/新邮件)=\frac{2}{17}\ast \frac{2}{17}\ast \frac{3}{17}\ast \frac{2}{17}\ast P(垃圾)=\frac{2}{17}\ast \frac{2}{17}\ast \frac{3}{17}\ast \frac{2}{17}\ast \frac{1}{2}\\ P2(正常/新邮件)=\frac{2}{15}\ast \frac{1}{15}\ast \frac{1}{15}\ast \frac{1}{15}\ast P(正常)=\frac{2}{15}\ast \frac{1}{15}\ast \frac{1}{15}\ast \frac{1}{15}\ast \frac{1}{2}\end{array}$$
  比较P1和P2的大小，若P1>P2，则为垃圾邮件，否则为正常邮件。

参考
[1]. 李航. 统计学习方法[M]. 2012.
[2]. 贪心科技-机器学习特训营课程