朴素贝叶斯分类

贝叶斯定理

先验概率：P(H)，表示事件H发生的概率。
后验概率：P(H|X)，表示在已知条件X发生的情况下，事件H发生的概率。
贝叶斯定理提供了一种P(H|X)和P(X|H)的转换方式：

朴素贝叶斯分类

基本假设：朴素贝叶斯分类方法假定一个属性值在给定类上的影响独立于其他属性的值。这一假定称为类条件独立性。
分类过程：

1. 设D是训练元组和它们相关联的类标号的集合。通常，每个元组用一个n维属性向量X={x₁，x₂，···，x_n}表示，描述由n个属性A₁，A₁，···，A_n对元组的n个测量。
2. 假定有m个类C₁，C₂，···，C_m。给定元组X，分类法将预测X属于具有最高后验概率的类（在条件X下）。也就是说，朴素贝叶斯分类法预测X属于类C_i，当且仅当
   
3. 由于P(X)对所有类为常数，所以只需要P(X|C_i)P(C_i)最大即可。如果类的先验概率未知，则通常假定这类是等概率的，即P(C₁)=P(C₂)=···=P(C_m)，并据此对P(X|C_i)最大化。否则，最大化P(X|C_i)P(C_i)。注意，类先验概率可以用P(C_i)=|C_i,D|/|D|估计，其中|C_i,D|是D中C_i类的训练元组数。
4. 给定具有许多属性的数据集，计算P(X|C_i)的开销可能非常大。为了降低计算P(X|C_i)的开销，可以做类条件独立的朴素假定。给定元组的类标号，假定属性值有条件地相互独立（即属性之间不存在依赖关系）。因此，
   
   可以很容易地由训练元组估计概率P(x₁|C_i)，P(x₂|C_i)，···，P(x_n|C_i)。
5. 为了预测X的类标号，对每个类C_i，计算P(X|C_i)P(C_i)。该分类法预测输入元组X的类为C_i，当且仅当
   
   即被预测的类标号是使P(X|C_i)P(C_i)最大的类C_i。

P(X|C_i)的计算：
在上面的分类步骤中给出了P(X|C_i)的计算公式，但是，如何计算每个P(x_k|C_i)的值，就需要考虑X中的每个属性A_k的具体特点。

1. 如果属性A_k是分类属性，则P(x_k|C_i)是D中属性A_k的值为x_k的类C_i类的元组数除以D中C_i类的元组数|C_i,D|。
2. 如果属性A_k是连续属性。我们假定属性值的分布符合均值为μ、标准差为σ的高斯分布，其密度函数为：
   
   因此，
   
   这里的μ_Ci和σ_Ci分别表示样本均值和样本标准差。

例子：

训练集D（buys_computer作为类标号属性）：

这里的数据属性为：age、income、student、credit_rating。
类标号属性为：buys_computer。
设C ₁对应于类buys_computer=yes，C ₂对应于类buys_computer=no。
现在假设待分类元组
X={age=youth, income=medium, student=yes, credit_rating=fair}
现在需要分别计算P(C ₁|X)和P(C ₂|X)的值，选择较大值的类作为元组X的最终分类。
首先，计算每个类的先验概率：

下面分别计算同一类下的不同属性的后验概率：
对于C ₁类（即buys_computer=yes）：

所以，C ₁类的后验概率：

对于C ₂类（即buys_computer=no）：

所以，C ₂类的后验概率：

最后找出最大化P(X|C _i)P(C _i)的类：

通过比较可以发现，类C ₁对应的值更大。所以，对于元组X，朴素贝叶斯分类预测元组X的类为C ₁，即 buys_computer=yes。

拉普拉斯校准

在计算元组在特定类别下的后验概率时，可能会出现某些属性的在该类别下的后验概率为零。这样就会导致整个元组的后验概率都为零。所以，拉普拉斯校准提供了一种简单的方法来避免这种情况的发生。
拉普拉斯校准在假定训练数据库很大，这样对于每个计数加上1造成的估计概率的变化可以忽略不计，但是却可以很好地避免零概率事件的发生。
注意，拉普拉斯校准是对所有的计数都进行加1操作！相应的各项分母也需要加上所有加上1的计数的个数。

转载于:https://www.cnblogs.com/ritchiewang/p/5767422.html