《机器学习实战中文版》 朴素贝叶斯

朴素贝叶斯

1. 概述

• 通过计算不同独立特征的条件概率实现分类
  优点：在数据较少的情况下仍然有效，可以处理多类别问题。
  缺点：对于输入数据的准备方式较为敏感。
  适用数据类型：标称型数据。

2. 实现

• 贝叶斯准则计算条件概率
  已知$p(c\mid x)$，求$p(x\mid c)$，计算方法如下：
  $$p(c\mid x)=\frac{p(x\mid c)p(c)}{p(x)}$$
  对于数据点分类别的例子来说，$x$代表的是数据点$(x,y)$，$c$即为数据点的类别，具体应用贝叶斯准则可得到：
  $$p\left(c_i\mid x,y\right)=\frac{p\left(x,y\mid c_i\right)p\left(c_i\right)}{p(x,y)}$$
  $p\left(c_i\mid x,y\right)$是给出的数据点$(x,y)$在类别$c_i$中的概率
  $p\left(x,y\mid c_i\right)$为类别$c_i$中取出数据点$(x,y)$的概率
  $p\left(c_i\right)$为类别$c_i$在所有类别中的概率
  $p\left(x,y\right)$为数据点$(x,y)$在所有数据点中的概率
• 使用条件概率来分类：
  根据上面的定义
  • 如果$p\left(c_1\mid x,y\right)>p\left(c_2\mid x,y\right)$，属于类别$c_1$
  • 如果$p\left(c_1\mid x,y\right)<p\left(c_2\mid x,y\right)$，属于类别$c_2$
• 根据现实情况修改分类器
  • 在书上判断文本的例子中，用向量$w$表示之前的$(x,y)$，计算$p\left(c_i\mid w\right)$时，将$w$作为独立个体，那么概率可以写成$\mathrm{p}\left({\mathrm{w}}_0,{\mathrm{w}}_1,{\mathrm{w}}_2\cdot \cdot \cdot {\mathrm{w}}_{\mathrm{N}}\mid {\mathrm{c}}_1\right)$，也就是说可以用$\mathrm{p}\left({\mathrm{w}}_0\mid {\mathrm{c}}_{\mathrm{i}}\right)\mathrm{p}\left({\mathrm{w}}_1\mid {\mathrm{c}}_{\mathrm{i}}\right)\mathrm{p}\left({\mathrm{w}}_2\mid {\mathrm{c}}_1\right)\dots \mathrm{p}\left({\mathrm{w}}_{\mathrm{N}}\mid {\mathrm{c}}_{\mathrm{i}}\right)$来计算上述概率
  • 同时在程序设计时，把概率值初始为非零值，同时采用自然对数处理概率值，函数$f(x)$与$ln(f(x))$的曲线特征类似，可以很好的解决数据下溢或者浮点数舍入导致的错误

3. 总结

• 对于分类而言，使用概率有时要比使用硬规则更为有效。贝叶斯概率及贝叶斯准则提供了一种利用已知值来估计未知概率的有效方法
• 朴素贝叶斯只是在简单的假设下的一种有效分类器，是通过特征之间的条件独立性假设，降低对数据量的需求