《统计学习方法》笔记--朴素贝叶斯

《统计学习方法》第四章–朴素贝叶斯

朴素贝叶斯概述

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。通过给定的训练数据集，首先基于特征条件独立的假设学习输入输出的联合概率分布，然后基于此模型，对于给定的$x$，利用贝叶斯定理求出后验概率最大的输出$y$

朴素贝叶斯法

输入：训练数据 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . ( x N , y N ) } ; T=\{(x_1,y_1),(x_2,y_2)...(x_N,y_N)\}; T={(x1​,y1​),(x2​,y2​)...(xN​,yN​)};其中$x_i=(x_i^{(1)},x_i^{2)},...,x_i^{(n)}{)}^T;$ x i ( j ) 是 第 i 个 样 本 的 第 j 个 特 征 ， x i ( j ) ∈ { a j 1 , a j 2 , . . . , a j S j } , a j l 是 第 j 个 特 征 可 能 取 得 第 l 个 值 ， j = 1 , 2 , 3... , n ; l = 1 , 2 , . . . S j ; y i ∈ { c 1 , c 2 , . . . , c K } ; 实 例 x x_i{(j)}是第i个样本的第j个特征，x_i{(j)}\in \{a_{j1},a_{j2},...,a_{jS_j}\},a_{jl}是第j个特征可能取得第l个值，j=1,2,3...,n;l=1,2,...S_j;y_i\in\{c_1,c_2,...,c_K\};实例x xi​(j)是第i个样本的第j个特征，xi​(j)∈{aj1​,aj2​,...,ajSj​​},ajl​是第j个特征可能取得第l个值，j=1,2,3...,n;l=1,2,...Sj​;yi​∈{c1​,c2​,...,cK​};实例x

输出：实例$x$的分类

(1) 根据给出的训练集计算先验概率和条件概率$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K----在给定训练集中c_k类的概率$$ $$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}----在给定训练集中，已知为c_k类时，第j个特征取值为a_{jl}的概率$$ $$j=1,2,...,n;l=1,2,...,S_j;k=1,2...,K$$
(2) 对于给定实例$x=(x^{(1)},x^{(2)},...,x^{(n)}{)}^T,$计算$$P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k),k=1,2,...,K----对于给定的实例，计算在不同类别下其特征序列(x^{(1)},x^{(2)},...,x^{(n)})出现的概率$$
(3)确定实例$x$所属的类$$y=\arg \underset{c_k}{\max }P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)----将实例x归入特征序列出现概率最大的那一类$$

参数估计

朴素贝叶斯法主要是通过训练集计算出每个类别$c_k$的先验概率，然后通过贝叶斯公式，计算出相应特征的条件概率，即在已知类别$c_k$的条件下各个特征出现的概率，最后通过求出在给定类别时出现概率最大的类别作为实例的类别。

极大似然估计

在朴素贝叶斯法中，学习意味着估计$P(Y=c_k)$和$P(X^j=x^{(j)}|Y=c_k)$由于前提假设是特征条件相互，因此可以用极大似然估计法来估计相应的概率。

先验概率$P(Y=c_k)$的极大似然估计是$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$$

条件概率$P(X^{(j)}=a_{jl}|Y=c_k)$的极大似然估计是$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}----在给定训练集中，已知为c_k类时，第j个特征取值为a_{jl}的概率$$ $$j=1,2,...,n;l=1,2,...,S_j;k=1,2...,K$$

贝叶斯估计

考虑到用极大似然估计可能会出现会估计的概率值为0的情况，可以采用贝叶斯估计来代替极大似然估计。具体的，

先验概率的贝叶斯估计为$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$

条件概率的贝叶斯估计为$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)=a_{jl}},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$

上式中$\lambda \ge 0$等价于在随机变量各个取值的频数上赋予一个正数$\lambda >0$,当$\lambda =0$时就是极大似然估计。常取$\lambda =1$，这时称为拉普拉斯平滑。显然对于任何的$l=1,2,...S_j;k=1,2,...,K$有：$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)>0$$ $$\sum _{l=1}^{S_j}{P}_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=1$$