机器学习笔记之贝叶斯分类

设每个数据样本用一个n维特征向量来描述n个属性的值，即：X={x1，x2，…，xn}，假定有m个类，分别用C1, C2,…，Cm表示。给定一个未知的数据样本X（即没有类标号）
根据贝叶斯定理：最大化后验概率P(Ci|X)可转化为最大化先验概率P(X|Ci)P(Ci)，先验概率P(x1|Ci)，P(x2|Ci)，…，P(xn|Ci)可以从训练数据集求得。根据此方法，对一个未知类别的样本X，可以先分别计算出X属于每一个类别Ci的概率P(X|Ci)P(Ci)，然后选择其中概率最大的类别作为其类别。朴素贝叶斯算法成立的前提是各属性之间互相独立。当数据集满足这种独立性假设时,分类的准确度较高，否则可能较低。

1. 估计类条件概率P(x|C)：
   极大似然估计：先假定它具有某种概率分布形式，在分析训练样本估计一下这种分布形式的参数。所以概率模型的训练过程无非就是参数估计的过程。
   我们的目的找到参数向量θc能唯一确定P(x|C)。 Dc表示训练集D中c类样本的集合，假设他们独立同分布（相互独立且服从同一分布），则参数θc对于对于Dc的似然是
   
2. 难以从有限样本中获得P(x|C)：
   朴素贝叶斯分类器引入“属性条件独立性假设”，对已知类别假设所有属性相互独立。
   
   朴素贝叶斯表达式，其基于训练集D来估计Pc，并且为每个属性估计条件概率P(x|C)。Pc是它属于某一类的概率，后面的式子是在它属性c类情况下所有x属性概率的乘积。
3. 朴素贝叶斯分类器的优缺点
   优点：开销小，算法简单易于实现。
   缺点：在属性个数比较多或者属性之间相关性较大时，分类效果不好。