机器学习笔记--朴素贝叶斯法

朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

1. 基本方法
   X是定义在输入空间X上的随机向量，Y 是定义在输出空间Y上的随机向量。P(X,Y)就是X 和Y上的联合概率分布。训练数据集
   
   由P(X,Y)独立同分布产生。
   朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)。具体的，学习一下先验概率分布及条件概率分布。
   先验概率分布
   
   条件概率分布
   
   朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假设，朴素贝叶斯法也由此得名。具体的，条件独立性假设是
   
   条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。
   朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率部分P(Y=ck|X=x)，将后验概率最大的类作为x的类输出。后验概率计算根据贝叶斯定理进行：
   
   注意到，在公式中分母所有c_k都是相同的，所以