7.3 朴素贝叶斯分类器

朴素：属性条件独立性假设。即假设每个属性独立地对分类结果发生影响。

朴素贝叶斯分类器重写了书中的式(7.8)为：
$$P(c|x)=\frac{P(c)P(x|c)}{P(x)}=\frac{P(c)}{P(x)}\prod _{i=1}^{d}P(x_i|c)$$
其中，${\prod }_{i=1}^{d}P(x_i|c)=P(x_1|c)\ast P(x_2|c)\ast \cdots \ast P(x_n|c)$ 。
d为属性数目，$x_i$为$x$在第i个属性上的取值。

基于书中式(7.6)，即$h^{\ast }(x)=\underset{cϵy}{\mathrm{argmax}}P(c|x)$ ,基于该式，将式(7.8)代入，（由于P(x)对所有类别来说是相同的，可以省略），可以得到下面：
$$h_{nb}(x)=\underset{cϵy}{\mathrm{argmax}}P(c)\prod _{i=1}^{d}P(x_i|c)$$
这就是朴素贝叶斯分类器的表达式。
即给定x的情况下，贝叶斯分类器最可能出现的情况c，P(x)省略。

• 令$D_c$ 表示训练集D中第c类样本组成的集合，若有充足的独立同分布样本，则可容易地估计出类先验概率：
  $$P(c)=\frac{|D_c|}{|D|}$$
  （1）对离散属性而言，令$D_{c,x_i}$表示$D_c$中在第i 个属性上取值为$x_i$ 的样本组成的集合，则条件概率$P(x_i|c)$可估计为:$(这里不是绝对值，而表示集合大小)$
  $$P(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|}$$
  （2）对连续属性可考虑概率密度函数，假定$p(x_i|c)N({\mu }_{c,i},{\sigma }_{c,i}^2)$，其中${\mu }_{c,i}和{\sigma }_{c,i}^2$分别是第c类样本在第i个属性上取值的均值和方差，则有：
  $$P(x_i|c)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,i}}exp(-\frac{(x_i-{\mu }_{c,i}{)}^2}{2{\sigma }_{c,i}^2})$$

以下针对西瓜书P151中的例子进行验算：

可参考这篇文章

利用朴素贝叶斯算法训练出一个分类器,以判断一个具有特征{色泽=青绿，根蒂=蜷缩，敲声=浊响，纹理=清晰，脐部=凹陷，触感=硬滑，密度=0.697，含糖率=0.460}的测试样例（“测1”）瓜($x_{test}$ )是否为好瓜。