机器学习-1-朴素贝叶斯

- 引言

• 朴素贝叶斯(naive Bayes)是基于贝叶斯订立和特征条件独立假设的分类方法；
• 对于给定的训练集和，基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯订立求出后验概率最大的输出y；
  （朴素贝叶斯和贝叶斯估计(Bayesian estimation)是不同的概念。）

- 基本方法

• 朴素贝叶斯的方法是通过训练数据学习出联合条件概率分布P(X,Y)，然后通过做条件性独立假设（朴素贝叶斯名称的由来），学习出条件概率分布P(X=x|Y=ck)，从而利用贝叶斯公式P(Y=ck|X=x) = ((P(X=x|Y=ck) * P(Y=ck)) / ((P(X=x|Y=c1) * P(Y=c1) + (P(X=x|Y=c2) * P(Y=c2) + …)，在做分类问题时，通过计算出每个x对应的后验概率值P(Y=ck|X=x)，将后验概率最大的类作为x的类输出即可.具体的标准化公式如下：
  

• 具体地，P(X=x|Y=ck)通过条件独立性假设求出（条件独立假设等于是说用于