机器学习之朴素贝叶斯（一）思想及典型例题手写实现

条件概率、全概率公式、贝叶斯公式

• 条件概率公式：

  在事件B发生的条件下，A发生的概率

  
  换一种写法：
  

  理解了条件概率公式后，用一个引例介绍后面两个公式：村子里有三个小偷，事件B={村子失窃}，已知小偷们的偷窃成功率依次是，除夕夜去偷的概率依次是

• 全概率公式：

  求：村庄除夕夜失窃的概率
  　　

• 贝叶斯公式：

  求：在村子失窃的条件下，偷窃者是某个小偷的概率
  

朴素贝叶斯

李航《统计学习方法》中的定义
朴素贝叶斯(naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。

经典例题数据如下

X1,X2,Y
1,S,-1
1,M,-1
1,M,1
1,S,1
1,S,