《机器学习实战》学习笔记（四）：Naive Bayes

Naive Bayes（朴素贝叶斯）

基于采样范型描述的朴素贝叶斯模型。先做如下符号假设：
（1）设$P(i|x)$表示一个测量向量为$x=(x_1,x_2,...,x_p)$的对象属于类别$i$的概率；
（2）$f(x|i)$表示$x$关于类别$i$的条件分布；
（3）$P(i)$为不知道对象自身任何信息的情况下该对象属于类别$i$的概率，即类别$i$的先验概率；
（4）$f(x)$为两个类别的总的混合分布：
$f(x)=f(x|0)P(0)+f(x|1)P(1)$
那么，如果对$P(i|x)$的估计能得到一个合适的分数，可以将之用于分类规则，再设置一个合适的分类阈值，这样就可以完成分类。
由贝叶斯定理，可以得到$P(i|x)=\frac{f(x|i)P(i)}{f(x)}$，因此，只要知道每个$P(i)$和$f(x|i)$就可以得到$P(i|x)$的估计。

$\Gamma(n) = (n-1)!\quad\forall n\in\mathbb N$