机器学习之朴素贝叶斯(Naive Bayes)

概述

• 朴素贝叶斯，朴素的含义在与对输入数据的特征做了独立性假设，简化了模型。贝叶斯顾名思义，采用了贝叶斯定理。一句话总结，基于贝叶斯定理和独立假设的分类方法。
• 参数估计中极大似然估计与贝叶斯估计的区别，以及参数的理解。
• 最大后验（MAP）假设的理论依据。

---

1.数学建模

• 数学概念
  $$条件概率：p(A|B) = \frac{P(AB)}{p(B)}\\ 条件独立：P(A,B|C)=P(A|C)P(B|C) \\ p(AB)=p(A|B)p(B)=p(B|A)p(A)\\ 贝叶斯公式：p(B|A)=\frac{p(A|B)p(B)}{p(A)}\\ 全概率公式:假设B1,B2,...,Bn为事件B的完备集划分，即它们的并集为B但又互相无交集。\\ 则有和B独立的事件A可以表示为:p(A)=\sum_{i=1}^{n}p(A|Bi)p(Bi)。$$
• 建模分析
  
  • 现在，我们要解决的问题是给定一个样本$x$求它的类别$y$，其中$x\in X$,$y\in Y$。此处引入统计概率的概念——采样，我们认为训练集是真实数据的独立同分布的采样，即你的训练集是从满足分布规律$P(X_{true},Y_{true})$中采样得到的，基于大数定律和独立同分布假设，可以认为$P(X,Y)$是$P(X_{true},Y_{true})$很好的近似。因此现在的目的是从训练数据出发来求这个条件分布$P(Y|X)$。至此，可以这样建模：
    $$P(Y|X)=\frac{P(X,Y)}{P(X)}$$
    这里考察一下这个模型，求得数据的联合分布以及特征数据$x$的evidence，从而求得最终的模型，我们学到的是数据的生成过程和机制，因此是生成式模型。
  • 继续分析，利用贝叶斯公式或者从条件概率推导，我们可以将上述模型转换为：