朴素贝叶斯及其数学推导

一、朴素贝叶斯简单介绍

朴素贝叶斯成立的前提是条件独立性假设：分类的特征$x_i$在类别确定的条件下都是独立的，用公式表示如下：
$$\begin{array}{rl}P(X=x_i|Y=c_k)& =P(X=x_i^1,X=x_i^2,\cdots ,X=x_i^n|Y=c_k)\\ & =\prod _{j=1}^{n}P(X^{(j)}=x_i^j|Y=c_k)\end{array}$$
其中$c_k$是类别，假设有K个类，n是样本的维度，$x_i$是输入样本

朴素贝叶斯法表示如下：
$$y=arg\underset{c_k}{\max }P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x_i^j|Y=c_k)$$

二、贝叶斯决策论

介绍朴素贝叶斯中最大化后验概率的来源
朴素贝叶斯选择0-1损失函数作为评价标准，0-1损失函数表示如下：
$$L(Y,f(X))=\{\begin{array}{ll}0,& \text{Y = f(X)}\\ 1,& \text{Y = f(X)}\end{array}$$
其中$f(X)$是分类决策函数
期望损失：$R_{exp}(f)=E(L(Y,f(x)))$,显然对每个样本$x$最小化条件风险，则期望损失最小，下面证明期望损失最小化等价于后验概率最大化：
$$\begin{array}{rl}f(x)& =arg\underset{y\in \mathcal{Y}}{\min }\sum _{k=1}^{K}L(c_k,y)P(y=c_k|X=x)\\ & =arg\underset{y\in \mathcal{Y}}{\min }\sum _{k=1}^{K}P(y\ne c_k|X=x)\\ & =arg\underset{y\in \mathcal{Y}}{\min }\sum _{k=1}^K(1-P(y=c_k|X=x))\\ & =arg\underset{y\in \mathcal{Y}}{\max }\sum _{k=1}^{K}P(y=c_k|X=x)\end{array}$$
得到后验概率最大化准则：
$$f(x)==arg\underset{y\in \mathcal{Y}}{\max }\sum _{i=1}^{K}P(y=c_k|X=x)$$
其中Y={c1,c2,⋯ ,cK}\mathcal Y=\{c_1,c2, \cdots,c_K\}Y={c1​,c2,⋯,cK​},$K$是类别个数

三、参数估计

方法1：极大似然估计

下面先给出结果，再证明
先验概率估计：

$$P(Y=c_k)=\frac{{\sum }_{i=1}^{n}I(y_i=c_k)}{N}$$
条件概率估计：

$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{n}I(X_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{n}I(y_i=c_k)}$$
其中$k=1,2,\cdots ,K,j=1,2,\cdots ,n,l=1,2,\cdots S_j$
x(j)∈{aj1,aj2,⋯ ,ajSj}x^{(j)} \in \{a_{j1},a_{j2},\cdots,a_{jS_j}\}x(j)∈{aj1​,aj2​,⋯,ajSj​​}

下面给出证明：
1、估计先验概率$P(c_k)$
令P(Y=ck)=θk,k∈{1,2,⋯ ,K}P(Y=c_k)=\theta_k,k \in \{1,2,\cdots ,K\}P(Y=ck​)=θk​,k∈{1,2,⋯,K}
则$P(Y)={\prod }_{k=1}^K{\theta }_k^{I(Y=c_k)}$
那么对数似然函数表示如下：

$$\begin{array}{rl}L(\theta )& =\log (\prod _{i=1}^{n}P(Y=y_i))\\ & =\log (\prod _{i=1}^n\prod _{k=1}^K{\theta }_k^{I(Y_i=c_k)})\\ & =\log (\prod _{k=1}^K{\theta }_k^{N_k})\\ & =\sum _{k=1}^K{N}_k\log {\theta }_k\end{array}$$

其中$N_k$是样本类别为$c_k$的样本数目
又因为${\sum }_{k=1}^K{\theta }_k=1$,所以拉格朗日函数可以表示为：
$$L({\theta }_k,\lambda )=\sum _{k=1}^K{N}_k\log {\theta }_k+\lambda (\sum _{k=1}^K{\theta }_k-1)$$
拉格朗日函数对${\theta }_k$求偏导可得：
$$\frac{\partial L({\theta }_k,\lambda )}{{\theta }_k}=\frac{N_k}{{\theta }_k}+\lambda =0\Rightarrow N_k=-\lambda {\theta }_k$$
对上式求和可得：
$$\sum _{k=1}^K=N_k=-\lambda \sum _{k=1}^k{\theta }_k\Rightarrow N=-\lambda \Rightarrow {\theta }_k=\frac{N_k}{N}得证$$

1、估计条件概率$P(X^{(j)}=a_{jl}|y=c_k)$

令$P(X^{(j)}=a_{jl}|y=c_k)={\theta }_{kjl}$
$$P(X^{(j)}=a_{jl}|y=c_k)={\theta }_{kjl}=\prod _{k=1}^K\prod _{j=1}^n\prod _{l=1}^{S_j}{\theta }_{kjl}^{I(X^{(j)}=a_{jl})}$$
似然函数表示如下：
$$\begin{array}{rl}l(\theta )& =\prod _{i=1}^{N_K}(\prod _{k=1}^K\prod _{j=1}^n\prod _{l=1}^{S_j}{\theta }_{kjl}^{I(X_i^{(j)}=a_{jl})})\\ & =\prod _{k=1}^K\prod _{j=1}^n{\theta }_{kjl}^{N_{kjl}}\end{array}$$
其中$N_{kjl}$表示数据集中属于类$c_k$,且样本的第$j$维度取值为$a_{jl}的个数$
所以对数似然函数表示如下：
$$L(\theta )=\sum _{k=1}^K\sum _{j=1}^n{N}_{kjl}\log {\theta }_{kjl}$$
又因为${\sum }_{l=1}^{S_j}{\theta }_{kjl}=1$
拉格朗日函数可以表示为：
$$L(\theta ,\lambda )=\sum _{k=1}^K\sum _{j=1}^n{N}_{kjl}\log {\theta }_{kjl}+\lambda (\sum _{l=1}^{S_j}{\theta }_{kjl}-1)$$
$\Rightarrow \frac{\partial L(\theta ,\lambda )}{\partial {\theta }_{kjl}}=\frac{N_{kjl}}{{\theta }_{kjl}}-\lambda =0$
$\Rightarrow {\sum }_{l=1}^{S_j}{N}_{kjl}=\lambda {\sum }_{l=1}^{S_j}{\theta }_{kjl}=\lambda$
$\Rightarrow \lambda =N_k$
$\Rightarrow {\theta }_{kjl}=\frac{N_{kjl}}{N_k}$, 得证

方法2：贝叶斯估计

贝叶斯估计是为了解决极大似然估计中可能存在的所要估计的概率值为0的情况
先验概率估计：
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{n}I(y_i=c_k)+\lambda }{N+K\lambda }$$
条件概率估计：
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{n}I(X_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{n}I(y_i=c_k)+S_j\lambda }$$
其中$k=1,2,\cdots ,K,j=1,2,\cdots ,n,l=1,2,\cdots S_j$
x(j)∈{aj1,aj2,⋯ ,ajSj}x^{(j)} \in \{a_{j1},a_{j2},\cdots,a_{jS_j}\}x(j)∈{aj1​,aj2​,⋯,ajSj​​}