最小错误率贝叶斯决策的基本思想_几种贝叶斯决策/统计决策规则

---

• 贝叶斯公式

P(

)

其中，

是先验概率； p

是

与

的联合概率密度；p(x)是概率密度，称作总体密度；p

是类条件密度。这样后验概率就转换成先验概率与类条件概率的乘积，再用总体密度进行归一化。

• 贝叶斯决策：在类条件概率密度和先验概率已知（或可以估计）的情况下，通过贝叶斯公式比较样本属于类别的后验概率，将类别决策为后验概率大的一类，这种做的目的是为了使总体错误率最小。
• 任一决策都有可能会错误。对两类问题，在样本
  上错误的概率为

错误率定义为所有服从同样分布的独立样本上错误概率的期望，即

这里，用

表示在特征

(向量或标量)的全部取值空间做积分。

在所有样本上做出正确决策的概率就是正确率，通常记作

,显然

。

---

• 最小错误率贝叶斯决策

在一般的模式识别问题中，人们往往希望尽量减少分类的错误，即目标是追求最小错误率。从最小错误率的要求出发，利用概率论中的贝叶斯公式，就能得出使错误率最小的分类决策，称为最小错误率贝叶斯决策。

最小错误率就是求解一种决策规则，使式（*1）最小化，即

使错误率最小的决策就是使后验概率最大的决策。

• 对于两类问题，得到如下决策规则：

如果

，则

；反之，则

最小错误率贝叶斯决策规则可以表示成多种等价的形式，比如：

(1) 若

，则

(2) 根据贝叶斯公式，因为两类分母相同，所以决策时实际上只需要比较分子，即

若

，则

(3)由于先验概率

是事先确定的，与当前样本

无关，因此，决策规则则整理成下面的形式，