统计学习方法读书笔记第四章：朴素贝叶斯法

朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入$x$，利用贝叶斯定理求出后验概率最大的输出$y$。

朴素贝叶斯法的学习与分类

• 基本方法
  朴素贝叶斯法通过训练数据集学习联合概率分布$P(X,Y)$。具体的，学习以下先验概率分布及条件概率分布。先验概率分布：
  $$P(Y=c_k),k=1,2,...,K\text{\hspace{1em}(1)}$$
  条件概率分布：
  $$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,...,K\text{\hspace{1em}(2)}$$
  于是学习到联合概率分布$P(X,Y)$。
  条件概率分布$P(X=x|Y=c_k)$有指数级数量的参数，其估计实际是不可行的。事实上，假设$x^{(j)}$可取值有$S_j$个，$j=1,2,\cdots ,n$，$Y$可取值有$K$个，那么参数个数为$K{\prod }_{j=1}^n{S}_j$。
  朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假设，朴素贝叶斯法也由此得名。具体的，条件独立性假设是
  $$\begin{array}{rl}P(X=x|Y=c_k)& =P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k)\\ & =\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)\end{array}\text{\hspace{1em}(3)}$$
  朴素贝叶斯实际上学习到生成数据的机制，所以属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。
  朴素贝叶斯法分类时，对给定的输入$x$，通过学习到的模型计算后验概率分布$P(Y=c_k|X=x)$，将后验概率最大的类作为$x$的类输出。后验概率计算根据贝叶斯定理进行：
  $$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}\text{\hspace{1em}(4)}$$
  将式(3)带入式(4)有
  $$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)},k=1,2,\cdots ,K\text{\hspace{1em}(5)}$$
  这时朴素贝叶斯法的基本公式。于是，朴素贝叶斯分类器可表示为
  $$y=f(x)=\arg \underset{c_k}{\max }\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}\text{\hspace{1em}(6)}$$
  注意到，在式(6)中分母对所有$c_k$都是相同的，所以，
  $$y=\arg \underset{c_k}{\max }P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)\text{\hspace{1em}(7)}$$
• 后验概率最大化的含义
  朴素贝叶斯法将实例分到后验概率最大的类中。这等价于期望风险最小化。假设选择0-1损失函数：
  $$L(Y,f(X))=\{\begin{array}{ll}1,& Y̸=f(X)\\ 0,& Y=f(X)\end{array}$$
  式中$f(X)$是分类决策函数。这时，期望风险函数为
  $$R_{\exp }(f)=E[L(Y,f(X))]$$
  期望是对联合分布$P(X,Y)$取的。由此取条件期望
  $$R_{\exp }(f)=E_X\sum _{k=1}^K[L(c_k,f(X))]P(c_k|X)$$
  为了使期望风险最小化，只需对$X=x$逐个极小化，由此得到：
  $$\begin{array}{rl}f(x)& =\arg \underset{y\in \mathcal{Y}}{\min }\sum _{k=1}^{K}L(c_k,y)P(c_k|X=x)\\ & =\arg \underset{y\in \mathcal{Y}}{\min }\sum _{k=1}^{K}P(y̸=c_k|X=x)\\ & =\arg \underset{y\in \mathcal{Y}}{\min }(1-P(y=c_k|X=x))\\ & =\arg \underset{y\in \mathcal{Y}}{\max }P(y=c_k|X=x)\end{array}$$
  这样一来，根据期望风险最小化准则就得到了后验概率最大化准则：
  $$f(x)=\arg \underset{c_k}{\max }P(c_k|X=x)$$
  即朴素贝叶斯法所采用的原理。

朴素贝叶斯法的参数估计

• 极大似然估计
  在朴素贝叶斯法中，学习意味着估计$P(Y=c_k)$和$P(X^{(j)}=x^{(j)}|Y=c_k)$。可以应用极大似然估计法估计相应的概率。先验概率$P(Y=c_k)$的极大似然估计是
  $$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\cdots ,N\text{\hspace{1em}(8)}$$
  设第$j$个特征$x^{(j)}$可能取值的集合为 { a j 1 , a j 2 , ⋯   , a j S j } \{a_{j1},a_{j2},\cdots,a_{jS_j}\} {aj1​,aj2​,⋯,ajSj​​}，条件概率$P(X^{(j)}=a_{jl}|Y=c_k)$的极大似然估计是
  $$\begin{gathered} P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)} \\ j=1,2,\cdots ,n;l=1,2,\cdots ,S_j;k=1,2,\cdots ,K\text{\hspace{1em}(9)} \end{gathered}$$
  式中，$x_i^{(j)}$是第$i$个样本的第$j$个特征；$a_{jl}$是第$j$个特征可能取的第$l$个值；$I$为指示函数。

• 学习与分类算法
  下面给出朴素贝叶斯法的学习与分类算法
  算法1（朴素贝叶斯算法）
  输入：训练数据 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中$x_i=(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(n)}{)}^T$，$x_i^{(j)}$是第$i$个样本的第$j$个特征， x i ( j ) ∈ { a j 1 , a j 2 , ⋯   , a j S j } x_i^{(j)}\in\{a_{j1},a_{j2},\cdots,a_{jS_j}\} xi(j)​∈{aj1​,aj2​,⋯,ajSj​​}，$a_{jl}$是第$j$个特征可能取的第$l$个值，$j=1,2,\cdots ,n$，$l=1,2,\cdots ,S_j$， y i ∈ { c 1 , c 2 , ⋯   , c K } y_i\in\{c_1,c_2,\cdots,c_K\} yi​∈{c1​,c2​,⋯,cK​}；实例$x$；
  输出：实例$x$的分类。
  (1) 计算先验概率及条件概率
  $$\begin{array}{rl}& P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\cdots ,K\\ & P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}\\ & j=1,2,\cdots ,n;l=1,2,\cdots ,S_j;k=1,2,\cdots ,K\end{array}$$
  (2) 对于给定的实例$x=(x^{(1)},x^{(2)},\cdots ,x^{(n)}{)}^T$，计算
  $$P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k),k=1,2,\cdots ,K$$
  (3) 确定实例$x$的类
  $$y=\arg \underset{c_k}{\max }P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

• 贝叶斯估计
  用极大似然估计可能会出现所要估计的概率为0的情况。这时会影响到后验概率的计算结果，使分类产生偏差。解决这一问题的方法是贝叶斯估计。具体地，条件概率的贝叶斯估计是
  $$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }\text{\hspace{1em}(10)}$$
  式中$\lambda \ge 0$。等价于在随机变量各个取值的频数上赋予一个正数$\lambda >0$。当$\lambda =0$时就是极大似然估计。常取$\lambda =1$，这时称为拉普拉斯平滑。显然，对任何$l=1,2,\cdots ,S_j$，$k=1,2,\cdots ,K$，有
  $$\begin{array}{rl}& P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)>0\\ & \sum _{l=1}^{S_j}P(X^{(j)}=a_{jl}|Y=c_k)=1\end{array}$$
  表明式(10)确为一种概率分布。同样，先验概率的贝叶斯估计是
  $$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }\text{\hspace{1em}(11)}$$