朴素贝叶斯算法与贝叶斯估计

在看贝叶斯算法的相关内容时，你一定被突如其来的数学概念搞得头昏脑涨。比如极大似然估计(Maximum likelihood estimation )，极大后验概率估计(Maximum a posteriori estimation)，先验概率(Prior probability)，后验概率(Posteriori probability)等。所以后面我就本着先学会用，再谈概念的路线来进行。

1. 朴素贝叶斯算法

先说结论： 朴素贝叶斯就是用贝叶斯公式外加“朴素”的条件来求解样本所属类别的概率

1.1 理解朴素贝叶斯

先不予证明的给出条件概率公式，以及贝叶斯定理（公式）
$$\begin{array}{rl}& P(A|B)=\frac{P(AB)}{P(B)}\end{array}\text{\hspace{1em}(1.1)}$$

$$\begin{array}{rl}& P(A_i|B)=\frac{P(A_i)P(B|A_i)}{{\sum }_{i=1}^{n}P(A_i)P(B|A_i)}\end{array}\text{\hspace{1em}(1.2)}$$

设输入空间$\mathcal{X}\subseteq R^n$，为$n$维向量的集合，输出空间为类标记 Y = { c 1 , c 2 , . . . , c m } \mathcal{Y}=\{c_1,c_2,...,c_m\} Y={ c1​,c2​,...,cm​}.输入为特征向量$x\in \mathcal{X}$，输出为类标记$y\in \mathcal{Y}$，$X$是定义在输入空间$\mathcal{X}$上的随机向量，$Y$是定义在输出空间$\mathcal{Y}$上的随机变量。也就是说$X$是一个$m\times n$的矩阵，$y$为类标签。训练集：
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\} T={ (x1​,y1​),(x2​,y2​),...,(xm​,ym​)}

则有：
$$\begin{array}{rl}& P(Y=c_k)=\frac{\#c_k}{m},k=1,2,...,K\end{array}\text{\hspace{1em}(1.3)}$$

$$\begin{array}{rl}& (\#c_k\text{表示该类别一共有多少个样本})\\ & P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k)\end{array}\text{\hspace{1em}(1.4)}$$

又因为朴素贝叶斯对条件概率分布做了条件独立性假设，即有$P(AB|D)=P(A|D)P(B|D)$，而这也是“朴素”一词的由来，因此公式$(1.4)$可写成如下形式：
$$P(X=x|Y=c_k)=\prod _{i=1}^{n}P(X^{(i)}=x^{(i)}|Y=c_k)\text{\hspace{1em}(1.5)}$$

由贝叶斯公式$(1.2)$可知：
$$P(Y=c_k|X=x)\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{i=1}^{n}P(X=x|Y=c_i)P(Y=c_i)}\text{\hspace{1em}(1.6)}$$

根据公式$(1.6)$我们可以计算出任一样本$x_i$属于类别$c_k$的概率，选择其中概率最大者便可作为其分类的类标。但我们发现，$(1.6)$中，对于每个样本的计算都有相同的分母，因此可以略去。则再代入公式$(1.5)$，可化简为：
y = a r g max ⁡ c k P ( Y = c k ) ∏ i = 1 n P ( X ( i ) = x (