贝叶斯决策理论与贝叶斯分类器

一、贝叶斯决策理论

贝叶斯决策论是概率框架下实施决策的基本方法，对于分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

• 1.1最小风险贝叶斯决策

  假设有N种可能的类别标记, 即$γ=\{c1,c2,...,cN\}$. $λ_{ij}$是将一个真实类别为$c_j$的样本误分类为为$c_i$的损失。 基于后验概率$P(c_i|x)$可得将样本x分类为$c_i$所产生的期望损失, 或者称为条件风险(Conditional Risk)
  

  $$R(c_i|x)=\sum_{j=1}^n \ \lambda _{ij}P(c_j|x)$$
  我们的任务是寻找一个判定准则$h: \chi\mapsto\mathcal{y}$以最小化总体风险:
  $$R(h)=E_x[R(h(x)|x)]$$
  显然，对每个样本x,若h能最小化条件风险$R(h(x)|x)$,则总体风险$R(h)$也将被最小化，这即是最小化整体风险(也称贝叶斯判别准则)，只需在每个样本上选择那个能使条件风险$R(c|x)$最小的类别标记，即：
  $$h^*(x)=\mathop{\ argmin}_{c\in\mathcal{y}} R(c|x)$$
  其中，$h^*$称为贝叶斯最优分类器，与之对应的总体风险$R(h^*)$称为贝叶斯风险，$1-R(h^*)$反映了分类器所能够达到的最好性能，即通过机器学习所能产生的模型精度的上限。

• 1.2最小错误率贝叶斯决策
  若目标是最小化分类错误率，则误判损失$\lambda_{ij}$可写成：
  $$\lambda_{ij} = \begin{cases} 0 &if \ i= j \\ 1,&otherwise \end{cases}$$
  此时条件风险$R(c_j|x)=\sum_{i=1}^{M}P(c_i|x)(注：i不等于j)=1-P(c_j|x)$：
  于是，最小化分类错误率的贝叶斯最优错误率：
  $$h^*(x)=\mathop{\ argmax}_{c\in\mathcal{y}} p(c|x)$$
  即，对每个样本$x$,选择能使后验概率$P(c|x)$最大的类别标记。

二、朴素贝叶斯分类器

1. 朴素贝叶斯的理论基础

朴素贝叶斯算法是基于贝叶斯定理与特征条件独立假设的分类方法。

这里提到的贝叶斯定理、特征条件独立假设就是朴素贝叶斯的两个重要的理论基础。

1.1 贝叶斯定理

先看什么是条件概率。
P(A|B)表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为： P(A