从线性模型角度理解朴素贝叶斯

以前看朴素贝叶斯的时候只知道它属于生成模型，这几天回顾的时候发现理解的不够深，在这里总结一下，如果有不对的地方，欢迎指正。

0. 生成模型与判别模型

1. 判别模型：判别模型关心的是给定输入$x$，应该预测怎样的输出$y$，它通常是直接学习条件概率分布$p (y|x)$，例如逻辑回归(Logistic Regression)。
2. 生成模型：通常对$p(y)$(class priors)与$p(x|y)$(likelihood)建模，根据贝叶斯公式得到条件概率分布$p (y|x)$：

$$p(y|x) = \frac{p(x, y)}{p(x)} = \frac{p(y) p(x|y)}{p(x)} \tag{1}$$

  如果我们使用(1)式对样本$x$进行分类时，则是将其分到具有最大输出概率$p(y|x)$的一类：

$$\begin{equation} \begin{split} \mathop{\arg\max}_{y} p(y|x) & = \mathop{\arg\max}_{y} \frac{p(x|y)p{(y)}}{p(x)} \\ & = \mathop{\arg\max}_{y} p(x|y)p{(y)} \end{split} \end{equation}\tag{2}$$
  其中，分母 $p(x)$是与最大化 $y$无关的常数项，可以略去。朴素贝叶斯分类器就是通过这种方式进行分类。

1. 朴素贝叶斯分类器

  对于具有n维特征的样本$\textbf{x} = (x_1, x_2, ..., x_n)$，其可能的输出有 $K$类$\{C_1, C_2, ..., C_k\}$，使用朴素贝叶斯预测给定当前样本 $\textbf{x}$下其输出类别 $C_k$的概率，根据(1)式可以写为：

$$\begin{equation} \begin{split} p(C_k|x_1, x_2, ..., x_n) & = \frac{p(x_1, x_2, ..., x_n, C_k)}{p{(\textbf{x}})} = \frac{p(C_k)p(x_1, x_2, ..., x_n|C_k)}{p(\textbf{x})} \\ \end{split} \end{equation}\tag{3}$$
对(3)式中分子的第二项，有：

p(x1,x2,...,xn|Ck)=p(x