朴素贝叶斯算法知识要点

1 朴素贝叶斯法

• 典型的生成学习方法。
• 利用训练数据学习$P(X|Y)$和$P(Y)$的概率估计，从而得到联合概率分布：$P(X,Y)=P(Y)P(X|Y)$
• 概率估计方法
  • 极大似然估计（见3(2)先验概率及条件概率的计算）
  • 贝叶斯估计
    • 用极大似然估计可能会出现所要估计的概率值为0 的情况。这时会影响到后验概率的计算结果，使分类产生偏差解决这一问题的方法是采用贝叶斯估计
    • 等价于在随机变量各个取值的频数上赋于一个正数$\lambda$。
    • 当$\lambda =0$时就是极大似然估计；当$\lambda =1$时， 这时称为拉普拉斯平滑。

2 朴素贝叶斯法的基本假设

• 条件独立性假设：

$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...,X^{(n)}=x^{(n)}|Y=c_k)=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

• 这是一个较强的假设，由于这一假设，模型包含的条件概率的数量大为减少，朴素贝叶斯法的学习与预测大为简化。因而朴素贝叶斯法高效，且易于实现，其缺点是分类的性能不一定很高。

3 朴素贝叶斯的学习与分类算法

• 输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . ( x N , y N ) } T=\{(x_{1},y_{1}),(x_{2},y_{2}),...(x_{N},y_{N})\} T={(x1​,y1​),(x2​,y2​),...(xN​,yN​)}，

  • 其中$x_i=(x_i^{(1)},x_i^{(2)},...x_i^{(j)},...,x_i^{(n)}{)}^T$，
  • $x_i^{(j)}$是第$i$个样本的第$j$个特征， x i ( j ) ∈ { a j 1 , a j 2 , . . . , a j l , . . . , a j S j } x_i^{(j)}\in\{a_{j1},a_{j2},...,a_{jl},...,a_{jS_j}\} xi(j)​∈{aj1​,aj2​,...,ajl​,...,ajSj​​}，
  • $a_{jl}$是第$j$个特征可能取值的第$l$个值，$j=1,2,...,n$；$l=1,2,...,S_j$；
  • y i ∈ { c 1 , c 2 , . . , c K } y_i\in\{c_1,c_2,..,c_K\} yi​∈{c1​,c2​,..,cK​}；实例$x$；

• 输出：实例$x$的分类$y$。

（1）计算先验概率及条件概率 $\to$ （极大似然估计）

​ $$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_K)}{N}，k=1,2,...,K$$

​ $$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(X^{(j)}=a_{jl},y_i=c_K)}{{\sum }_{i=1}^{N}I(y_i=c_K)}$$，$k=1,2,...,K；j=1,2,...,n；l=1,2,...,S_j$

（2）对于给定的实例$x=(x^{(1)},x^{(2)},...x^{(j)},...,x^{(n)}{)}^T$，计算

​ $P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)，k=1,2,...,K$

（3）确定实例$x$的类

​ $y=\arg ma{x}_{c_k}P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)，k=1,2,...,K$

拓展

例如 函数$F(x,y)$:

$\arg mi{n}_{x}F(x,y)$就是指当$F(x,y)$取得最小值时，变量$x$的取值；

$\arg ma{x}_{y}F(x,y)$就是指当$F(x,y)$取得最大值时，变量$y$的取值。