统计学习方法-4朴素贝叶斯

朴素贝叶斯法(naive Bayes)是基于贝叶斯定理与特征条件独立假设的分类方法

• 对于给定数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布
• 然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y

朴素贝叶斯法的学习与分类

基本方法

通过训练数据集学习联合概率分布P(X,Y)。具体地，学习先验概率分布及条件概率分布

• 先验概率分布：$P(Y=c_k),k=1,2,...,K$
• 条件概率分布：$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,...,K$

于是学习到联合概率分布P(X,Y)

但条件概率分布具有指数级数量的参数，其估计实际是不可行的。

---

朴素贝叶斯法对条件概率分布作了条件独立性的假设

• $P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k)={\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$

条件独立性假设等于是说用于分类的特征在类确定的条件下都是条件独立的

分类时，对给定的输入x，通过学习到的模型计算后验概率分布$P(Y=c_k|X=x)$，将后验概率最大的类作为x的类输出。

• 后验概率：$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}$

代入条件独立性假设后的式子：$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)},k=1,2,...,K$

于是，朴素贝叶斯分类器可表示为：

• $y=f(x)=arg\underset{c_k}{\max }\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$

分母对所有的$c_k$都是相同的，所以

• $y=arg\underset{c_k}{\max }P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$

后验概率最大化的含义

朴素贝叶斯法将实例分到后验概率最大的类中，等价于期望风险最小化

朴素贝叶斯法的参数估计

极大似然估计

先验概率P(Y=ck)的极大似然估计是:

• $P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$

设第j个特征$x_j$可能取值的集合为$\left\{a_{j1},a_{j2},...,a_{j{s}_j}\right\}$，条件概率$P(X^{(j)}=a_{jl}|Y=c_k)$的极大似然估计是

• $P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$
• $j=1,2,...,n;l=1,2,...,S_j;k=1,2,...,k$

学习与分类算法

• 输入：训练数据 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } ，其中 x i = ( x i ( 1 ) , x i ( 2 ) , . . . , x i ( n ) ) T ， x i ( j ) 是第 i 个样本的第 j 个特征， x i ( j ) ϵ { a j 1 , a j 2 , . . . , a j s j } ， a j l 是第 j 个特征可能取的第 l 个值， j = 1 , 2 , . . . , n ， l = 1 , 2 , . . . , S j ， y i ϵ { c 1 , c 2 , . . . , c k } ；实例 x 输入：训练数据T=\left\{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N}) \right\}，其中x_{i}=(x_{i}^{(1)},x_{i}^{(2)},...,x_{i}^{(n)})^{T}，x_{i}^{(j)}是第i个样本的第j个特征，x_{i}^{(j)}\epsilon \left\{a_{j1},a_{j2},...,a_{js_{j}} \right\}，a_{jl}是第j个特征可能取的第l个值，j=1,2,...,n，l=1,2,...,S_{j}，y_{i}\epsilon \left\{c_{1},c_{2},...,c_{k} \right\}；实例x 输入：训练数据T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中xi​=(xi(1)​,xi(2)​,...,xi(n)​)T，xi(j)​是第i个样本的第j个特征，xi(j)​ϵ{aj1​,aj2​,...,ajsj​​}，ajl​是第j个特征可能取的第l个值，j=1,2,...,n，l=1,2,...,Sj​，yi​ϵ{c1​,c2​,...,ck​}；实例x
• $输出：实例x的分类$

过程：

---

1、计算先验概率及条件概率

• $P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$
• $P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$
  $j=1,2,...,n;l=1,2,...,S_j;k=1,2,...,k$

---

2、对于给定的实例$x=(x^{(1)},x^{(2)},...,x^{(n)}{)}^T$，计算

• $P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k),k=1,2,...,K$

---

3、确定实例x的类

• $y=arg\underset{c_k}{\max }P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$

实例：

贝叶斯估计

用极大似然估计可能会出现所要估计的概率值为0的情况，这时会影响到后验概率的计算结果，使分类出现偏差。解决方法是使用贝叶斯估计

条件概率的贝叶斯估计是：

• $P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k+\lambda )}{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$

式中$\lambda \ge 0$。

• 等价于在随机变量各个取值的频数上赋予一个正数$\lambda >0$。
• 当$\lambda =0$时，就是极大似然估计
• 常取$\lambda =1$，这时称为拉普拉斯平滑
• 对任何$l=1,2,...,S_j,k=1,2,...,K$，都有：

• $P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)>0$
• ${\sum }_{l=1}^{s_j}P(X^{(j)}=a_{jl}|Y=c_k)=1$
  表明条件概率的贝叶斯估计是一种概率分布

先验概率的贝叶斯估计为：

• $P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$

接着上个案例：