朴素贝叶斯

1.问题描述

给定一个数据集，数据集中所有的样本点$X$都对应一个类标签$Y$，其中随机变量$X⊑{\mathbb{R}}^n$，随机变量 Y ∈ { c 1 , c 2 , . . . , c K } Y \in \{c_1, c_2, ..., c_K \} Y∈{c1​,c2​,...,cK​}

现任给一个样本点$x$，朴素贝叶斯将分别求出$x$属于每个类别的概率$P(Y=c_k|X=x)，k=1,2,...,K$，然后选择对应概率最大的$c_k$作为该样本点的类别

2.条件概率

根据条件概率，有

$$P(A|B)=\frac{P(AB)}{P(B)}=\frac{P(A)P(B|A)}{P(B)}(1)$$

这里我们将$Y=c_k$看成事件$A$，将$X=x$视作事件$B$，那么$P(Y=c_k|X=x)$可变形为

$$P(Y=c_k|X=x)=\frac{P(Y=c_k)P(X=x|Y=c_k)}{P(X=x)}(2)$$

3.全概率公式

根据全概率公式，有
$$\begin{array}{rl}P(B)& =P(B{A}_1)+P(B{A}_2)+...+P(B{A}_n)\\ & \\ & =P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+...+P(A_n)P(B|A_n)\\ & \\ & =\sum _{i=1}^{n}P(A_i)P(B|A_i)(3)\end{array}$$

这里的事件A被拆分成n个独立事件

于是我们将(2)式中的分母按照全概率公式展开，得到

$$\begin{array}{r}P(Y=c_k|X=x)=\frac{P(Y=c_k)P(X=x|Y=c_k)}{{\sum }_{k=1}^{K}P(Y=c_k)P(X=x|Y=c_k)}(4)\end{array}$$

观察(4)式发现，推导到这一步，要计算样本点$x$的类别，其实就只需要计算$P(Y=c_k)$和$P(X=x|Y=c_k)$了

4. 朴素贝叶斯为什么“朴素”？

先将$P(Y=c_k)$放一放，来看看如何计算$P(X=x|Y=c_k)$。由于数据集中的$x$是一个$n$维特征向量，所以

$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...,X^{(n)}=x^{(n)}|Y=c_k)(5)$$

如果假设特征向量$x$的任意一个特征$x^j$的取值有$s_j$种，$j=1,2,...,n$，$s_j=1,2,3,...$，类别标签$c_k$又有K种，即$k=1,2,...,K$。那么要直观去计算$P(X=x|Y=c_k)$需要$K{\prod }_{i=1}^n{s}_i$个参数，和决策树一样，实际情况不可能有这么多数据。

为了极大地简化计算，朴素贝叶斯算法在这里做了最为朴素最为简单的假设：特征条件独立假设。这就是朴素一词的由来。即假设所有特征之间是独立并且同等重要的。

根据特征条件独立假设，(5)式便可化简为：

$$\begin{array}{rl}P(X=x|Y=c_k)& =P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...,X^{(n)}=x^{(n)}|Y=c_k)\\ & \\ & =P(X^{(1)}=x^{(1)}|Y=c_k)P(X^{(2)}=x^{(2)}|Y=c_k)\cdots P(X^{(n)}=x^{(n)}|Y=c_k)\\ & \\ & =\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)(6)\end{array}$$

将(4)(6)组合，得朴素贝叶斯最终的计算公式：

$$\begin{array}{rl}y\_& =f(x)\\ & \\ & =argma{x}_{c_k}P(Y=c_k|X=x)\\ & \\ & =\frac{P(Y=c_k)P(X=x|Y=c_k)}{{\sum }_{k=1}^{K}P(Y=c_k)P(X=x|Y=c_k)}\\ & \\ & =\frac{P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k=1}^{K}P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}(7)\end{array}$$

到这里求解$P(Y=c_k|X=x)$就只需要求解$P(Y=c_k)$和$P(X^{(j)}=x^{(j)}|Y=c_k)$就可以了。

5.最大似然估计

在给定数据集的基础上，使用最大似然估计来求解$P(Y=c_k)$和$P(X^{(j)}=x^{(j)}|Y=c_k)$，假设训练集的数量为N，借用指示函数$I(expression)$来统计满足$expression$的个数如下所示：

$$\begin{array}{rl}P(Y=c_k)& =\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}k=1,2,3,...,K(7)\\ & \\ P(X^{(j)}=a_{jl}|Y=c_k)& =\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}l=1,2,...,s_j(8)\end{array}$$

至此，朴素贝叶斯已经可以直接计算出任一样本点$x$属于各个类别的概率了，即在给定样本点$x$的情况下，类别标签为$c_k$的概率$P(Y=c_k|X=x)$。