模式识别—基于贝叶斯决策理论的分类器

---

理解

从我们生活实际中出发，在一角、五角两个类中，判断这枚硬币是多少钱。

我们认为它是五角的概率大，所以我们判断为五角。
在数学上此概率可以由Bayes公式计算得出：
$$P(w_i|x)=\frac{P(x|w_i)P(w_i)}{\sum _{j=0}^{n}P(x|w_j)P(w_j)}$$
故我们可以用计算机来实现人类的这种分类判断思维。

 基础概念

 接上式：
 $w_i$：第i类
 先验概率：$P(w_i)$表示类$w_i$出现的概率。即在硬币中，不考虑其他任何因素，出现五角的概率。
 后验概率：$P(w_i|x)$表示$x$出现的条件下类$w_i$出现的概率。即$x$来自类$w_i$的概率。
 类条件概率：$P(x|w_i)$表示类$w_i$中出现$x$的概率。

 前提

 对象的观察值是随机的，服从一定的概率分布。

 要求

 $要求\{\begin{array}{l}各类别总体概率分布已知,即P(w_i)、P(x|w_i)已知\\ 类别一定\end{array}$

基本流程

显然，由前面我们可以知道：$P(w_i)、P(x|w_i)$已知。我们可以计算出未知样本的所有类别的后验概率$P(w_i|x)$，这时我们再通过一定判断准则选出最终类别结果。这就是比较简单的分类流程。
我们先从简单的决策判断入手。

---

决策判断

 基于最小错误率的贝叶斯决策

  分类准则

   错误率最小，也就是如果我们将样本分类为$w_i$类所导致的错误率最小。

  合理决策依据

   根据后验概率$P(w_i|x)$决策

  决策规则

   针对二分类来说：
   若$P(w_1|x)>P(w_2|x)$ $x\in w_1$
   若$P(w_1|x)<P(w_2|x)$ $x\in w_2$
   对于多分类，扩展即可。

  决策依据的简单理解

   当我们把样本$x$判断为$w_i$类时，概率为$P(w_i|x)$。若$x$并不属于$w_i$类，此时错误率就为$[1-P(w_i|x)]$。显然，$P(w_i|x)$越大，$[1-P(w_i|x)]$越小，即错误率越小。

  决策规则等价形式

   ①$P(w_i|x)=\underset{j=1,2...,c}{\max }P(w_j|x)$ $则x\in w_i$
   ② P ( x ∣ w i ) P ( w i ) = m a x j = 1 , 2... , c P ( x ∣ w i ) P ( w i ) P(x|w_i)P(w_i)=\underset{j=1,2...,c}{max}P(x|w_i)P(w_i) P(x∣wi​)P(wi​)=j=1,2...,cmax​P(x∣wi​)P(wi​)</