最小错误率贝叶斯决策的基本思想_模式识别总结（1）统计决策贝叶斯理论

1、统计决策贝叶斯理论

1.1基础知识和问题定义

贝叶斯决策理论是统计决策中的一个基本方法， 是一种将特征空间划分为子空间的方法， 对模式分析和分类器的设计起指导作用。贝叶斯决策理论的核心是: 当给定具有特征向量 的待识别样本时， 它属于某一类w的可能性有多大。

贝叶斯理论的三要素：先验概率，类（条件） 概率，后验概率。通常先验概率是已知的，类条件概率是我们的模型所假设的，后验概率则是我们决策的依据。其三者的关系，即贝叶斯公式如下：

针对具体对象， 采用不同的决策规则会产生不同的决策结果。 其中基于最小错误率的贝叶斯决策与基于最小风险的贝叶斯决策是最基本的两种方法。

问题的描述：已知共有 类样本

, ∈ {1,2, ⋯ } ， 其先验概率为 (

) ， 条件概率密度函数为 ( |

)， 样本分布在 维特征空间， 则对于待识别样本， 如何确定其所属类别？由于属于不同类的待识别对象存在着呈现相同观察值的可能， 即在 类样本中每一类可能包含这一 值， 这种可能性可用 (

| ) , ∈ {1,2, ⋯ }表示。 如何做出合理的判决就是贝叶斯决策理论所要讨论的问题。

1.2最小错误率的贝叶斯决策

其中最小化分类的错误率或最大化贝叶斯后验概率,这样的分类规则称为基于最小错误率的贝叶斯决策。

由贝叶斯公式中的分母为P（x），可以知道这是一个归一化常数，跟分类结果无关，因此我们可以改写最小化分类错误率为：

对于二分类问题，可以改写为似然比阈值的方式：

1.3最小风险贝叶斯决策

最小错误率判别规则没有考虑错误判决带来的“风险”差异。 在同一问题中， 不同的判决有不同的风险。最小风险贝叶斯决策需要错误判决所带来的不同风险。

假定有c类问题， 用 , ∈ {1,2, ⋯ }表示类别， 用 , ∈ {1,2, ⋯ }表示可以做出的判决。 实际应用中，判决数a和类别数c可能相等,也可能不等。对于给定的模式 ， 令 ( | )表示 ∈ 而判决为 的风险。 对于不同的判决和不同类别就有一个a× c维风险矩阵， 如下表所示：

假定样本 的后验概率 ( | )已经确定， 对于每一种判决 ， 可求出随机变量 ( | )的条件平均风险，也叫“条件平均损失” ：

那么最小风险判别规则为：