【数据挖掘】2. 贝叶斯分类器

• 对于实例空间中一个固定的点 $p$ ，如果给定一个类标签 $c\in \mathcal{Y}$ ，如何确定下边的条件概率：
  $$P{r}_{(x,y)\sim \mathcal{D}}[y=c|x=p]$$
  设计一个分类器 $h_{opt}$ 如下：

  • 如果： $P{r}_{(x,y)\sim \mathcal{D}}[y=-1|x=p]\ge 0.5$ ， $h_{opt}=-1$
  • 否则， $h_{opt}=1$
  • $h_{opt}$ 的泛化误差 $er{r}_{\mathcal{D}}(h_{opt})$ 被称为贝叶斯误差
  • 个人认为 $P{r}_{(x,y)\sim \mathcal{D}}[y=-1|x=p]\ge 0.5$ 等效于 $P{r}_{(x,y)\sim \mathcal{D}}[y=-1|x=p]\ge P{r}_{(x,y)\sim \mathcal{D}}[y=1|x=p]$

• 朴素贝叶斯分类

  • 贝叶斯定理
    $$\mathrm{Pr}[X\mid Y]=\frac{\mathrm{Pr}[Y\mid X]\cdot \mathrm{Pr}[X]}{\mathrm{Pr}[Y]}$$

  • 当 $\mathrm{Pr}[y=-1\mid x]\ge \mathrm{Pr}[y=1\mid x]$ 时，我们预测标签为 $-1$

  • 根据贝叶斯定理，可得：
    $$Pr[y=1|x]=\frac{Pr[x|y=1]\cdot Pr[y=1]}{Pr[x]}$$

    $$Pr[y=-1|x]=\frac{Pr[x|y=-1]\cdot Pr[y=-1]}{Pr[x]}$$

  • 我们只需要计算 $Pr[x|y=1]\cdot Pr[y=1]$ 和 $Pr[x|y=-1]\cdot Pr[y=-1]$ 哪个更大，即可确定预测的标签，使用训练集估计它们。

    

    • 很容易得到 $Pr[y=1]=0.3$

    • 对于 $Pr[x|y=1]$ 将 $x$ 分解到每个属性上，假设：
      $$\mathrm{Pr}[x\mid y=1]=\prod _{i=1}^d\mathrm{Pr}\left[x\left[A_i\right]\mid y=1\right]$$
      

      对于没有出现的情况，比如 $Pr[lawyer|y=1]$，我们将其估计为很小的值，比如 0.000001

  • 上边的贝叶斯分类器依赖于上述假设，即有条件独立（conditional independence）

• 使用不太严格的有条件独立，即假设一个属性固定时，其他的属性是独立的，例如对于：
  $$\mathbf{Pr}[30+,\text{ undergrad, programmer }\mid y=-1]$$
  假设，年龄和教育程度在固定职业时是独立的：
  $$\begin{array}{rl}& \mathrm{Pr}[30+,\text{ undergrad, programmer }\mid y=-1]\\ =& \mathrm{Pr}[30+,\text{ undergrad }\mid \text{ programmer, }y=-1].\\ & \mathrm{Pr}[\text{ programmer }\mid y=-1]\\ =& \mathrm{Pr}[30+\mid \text{ programmer, }y=-1]\\ & \cdot \mathrm{Pr}[\text{ undergrad }\mid \text{ programmer, }y=-1]\\ & \cdot \mathrm{Pr}[\text{ programmer }\mid y=-1]\\ =& \frac{2}{4}\cdot \frac{1}{4}\cdot \frac{4}{7}=1/14.\end{array}$$