从线性模型角度理解朴素贝叶斯

以前看朴素贝叶斯的时候只知道它属于生成模型，这几天回顾的时候发现理解的不够深，在这里总结一下，如果有不对的地方，欢迎指正。

0. 生成模型与判别模型

1. 判别模型：判别模型关心的是给定输入$x$，应该预测怎样的输出$y$，它通常是直接学习条件概率分布$p (y|x)$，例如逻辑回归(Logistic Regression)。
2. 生成模型：通常对$p(y)$(class priors)与$p(x|y)$(likelihood)建模，根据贝叶斯公式得到条件概率分布$p (y|x)$：

$$p(y|x) = \frac{p(x, y)}{p(x)} = \frac{p(y) p(x|y)}{p(x)} \tag{1}$$

  如果我们使用(1)式对样本$x$进行分类时，则是将其分到具有最大输出概率$p(y|x)$的一类：

$$\begin{equation} \begin{split} \mathop{\arg\max}_{y} p(y|x) & = \mathop{\arg\max}_{y} \frac{p(x|y)p{(y)}}{p(x)} \\ & = \mathop{\arg\max}_{y} p(x|y)p{(y)} \end{split} \end{equation}\tag{2}$$
  其中，分母 $p(x)$是与最大化 $y$无关的常数项，可以略去。朴素贝叶斯分类器就是通过这种方式进行分类。

1. 朴素贝叶斯分类器

  对于具有n维特征的样本$\textbf{x} = (x_1, x_2, ..., x_n)$，其可能的输出有 $K$类$\{C_1, C_2, ..., C_k\}$，使用朴素贝叶斯预测给定当前样本 $\textbf{x}$下其输出类别 $C_k$的概率，根据(1)式可以写为：

$$\begin{equation} \begin{split} p(C_k|x_1, x_2, ..., x_n) & = \frac{p(x_1, x_2, ..., x_n, C_k)}{p{(\textbf{x}})} = \frac{p(C_k)p(x_1, x_2, ..., x_n|C_k)}{p(\textbf{x})} \\ \end{split} \end{equation}\tag{3}$$
对(3)式中分子的第二项，有：
$$\begin{equation} \begin{split} p(x_1, x_2, ..., x_n|C_k) & = p(x_1|x_2, ..., x_n, C_k)p(x_2, ..., x_n, C_k) \\ & = p(x_1|x_2, ..., x_n, C_k)p(x_2|x_3, ..., x_n, C_k)p(x_3, ..., x_n, C_k) \\ & = ... \\ & = p(x_1|x_2, ..., x_n, C_k)p(x_2|x_3, ..., x_n, C_k)...p(x_{n-1}|x_n, C_k)p(x_n|C_k) \end{split} \end{equation}\tag{4}$$
由于朴素贝叶斯做了条件独立的强假设，那么(4)式变为：
$$\begin{equation} \begin{split} p(x_1, x_2, ..., x_n|C_k) & = \prod_{i=1}^n p(x_i|C_k) \end{split} \end{equation}\tag{5}$$
这样(3)式就可以写为：
$$\begin{equation} \begin{split} p(C_k|x_1, x_2, ..., x_n) & = \frac{p(C_k)\prod_{i=1}^n p(x_i|C_k)}{p(\textbf{x})} \\ & = \frac{p(C_k)\prod_{i=1}^n p(x_i|C_k)}{\sum_i p(x|C_i)p(C_i)} \end{split} \end{equation}\tag{6}$$
在训练时，需要做的只是统计 $p(C_k)$， $p(x_i|C_k)$，可以说是非常Naive了。

在预测时，只需要预测具有使(6)式最大的类别即可，这就是朴素贝叶斯分类器，这里只是做了个简单的复习。

2. 从线性模型角度理解

  发现朴素贝叶斯可以从线性模型的角度去解释，下面我用两个最常用的贝叶斯模型来说明他们都是log-linear的，Spark源码就是按照下面实现的。贝叶斯模型还有服从高斯分布的，这里就不做说明了。

2.1 伯努利朴素贝叶斯(Bernoulli naive Bayes)

  我们将样本表示为$\textbf{x} = (x_1, x_2, ..., x_n)$，以文本分类为例，$x_i$可以看做一篇文档中的第$i$个词是否出现在文档中，即它的取值只能为$\text{{0, 1}}$，文档中的每个词$w_i$以概率$p(w_i|C_k)$从同一个伯努利概率分布中生成，词汇表的大小为$n$。

对(3)式中分子的第二项，有：

$$p(\textbf{x}|C_k) = \prod_{i=1}^n p_{ki}^{x_i}(1-p_{ki})^{1-x{i}} \tag{7}$$
$p_{ki}$为第k类下生成$x_i$的概率。那么，后验概率可以表示为：

$$\begin{equation} \begin{split} \log p(C_k|\textbf{x}) & \propto \log p(C_k) p(\textbf x|C_k) \\ & = \log p(C_k) + \sum_{i=1}^n x_i \log p_{ki} + \sum_{i=1}^n (1 - x_i) \log (1-p_{ki}) \\ & = \sum_{i=1}^n x_i\big( \log p_{ki} - \log (1-p_{ki}) \big) + \sum_{i=1}^n \log (1 - p_{ki}) + \log p(C_k) \\ & = \textbf{w}_k^T \textbf{x} + b \end{split} \end{equation}\tag{8}$$
其中： $w_{ki} = \log p_{ki} - \log(1 - p_{ki})$， $b = \sum_{i=1}^n \log (1 - p_{ki}) + \log p(C_k)$

从(8)式中可以看到，伯努利朴素贝叶斯是log线性(log-linear)的。

2.2 多项式朴素贝叶斯(Multinomial naive Bayes)

  多项式朴素贝叶斯(Multinomial Naive Bayes, MNB)，准确的讲应该叫Multinomial Event Model。使用MNB，我们将样本表示为$\textbf{x} = (x_1, x_2, ..., x_n)$，以文本分类为例，$x_i$可以看做一篇文档中的第$i$个词$w_i$的词频，文档中的每一个词$w_i$以概率$p(w_i|C_k)$从同一个多项式概率分布中生成，词汇表的大小为$n$。对(3)式中分子的第二项，有：

$$p(\textbf{x}|C_k) = (\sum_i x_i)! \prod_{i=1}^n \frac{p(w_i |C_k)^{x_i}}{\prod_i x_i!} \tag{9}$$
  关于上面那个式子怎么来的，我们有样本$\textbf{x} = (x_1, x_2, ..., x_n)$，在$\sum_i x_i=N$个词中，词$w_1$出现了$x_1$次，词$w_2$出现了$x_2$次，词$w_n$出现了$x_n$次，每个词$w_i$出现的概率即$p(w_i|C_k)$，根据排列组合公式有：

$$\begin{equation} \begin{split} p(\textbf{x}|C_k) &= \big( C_{N}^{x_1}\cdot p(w_1|C_k)^{x_1} \big) \cdot \big( C_{N-x_1}^{x_2}\cdot p(w_2|C_k)^{x_2} \big) ...\big( C_{N-\sum_{i=1}^{n-1} x_i}^{x_n}\cdot p(w_n|C_k)^{x_n} \big) \\ &= \frac{N! \cdot p(w_1|C_k)^{x_1}}{x_1!(N-x_1)!} \cdot \frac{(N-x_1)! \cdot p(w_2|C_k)^{x_2}}{x_2!(N-x_1-x_2)!}...\frac{(N-\sum_{i=1}^{n-1} x_i)! \cdot p(w_n|C_k)^{x_n}}{x_n!} \\ &= N! \cdot \frac{p(w_1|C_k)^{x_1}}{x_1!} \cdot \frac{p(w_2|C_k)^{x_2}}{x_2!} ... \frac{p(w_n|C_k)^{x_n}}{x_n!} \\ & = (\sum_i x_i)! \prod_{i=1}^n \frac{p(w_i |C_k)^{x_i}}{\prod_i x_i!} \end{split} \end{equation}\tag{10}$$
有了式(10)，那么，后验概率可以表示为：
$$\begin{equation} \begin{split} \log p(C_k|\textbf{x}) & \propto \log \big(p(C_k) \prod_{i=1}^n p(w_i|C_k)^{x_i}) \\ & =\sum_{i=1}^n x_i \cdot \log p(w_i|C_k) + \log p(C_k)\\ & = \textbf{w}_k^T \textbf{x} + b \end{split} \end{equation}\tag{11}$$
其中： $w_{ki} = \log p(w_i|C_k)$， $b = \log p(C_k)$

式(11)中关于$x_i$的阶乘项是与类别$C_k$的无关项，可以删去。可以发现，MNB也是log线性(log-linear)的。

3. 朴素贝叶斯与逻辑回归的区别

  逻辑回归的本质也是对对数几率做线性回归，所以它也是log-linear的，那么它的朴素贝叶斯有哪些呢？这里引用CIS520的总结：

参考：
1. https://en.wikipedia.org/wiki/Naive_Bayes_classifier
2. https://nlp.stanford.edu/IR-book/html/htmledition/naive-bayes-text-classification-1.html
3. https://nlp.stanford.edu/IR-book/html/htmledition/the-bernoulli-model-1.html
4. https://alliance.seas.upenn.edu/~cis520/wiki/index.php?n=lectures.logistic#toc7
5. https://www.cs.waikato.ac.nz/~eibe/pubs/kibriya_et_al_cr.pdf
6. http://people.csail.mit.edu/jrennie/papers/icml03-nb.pdf