【模式识别 笔记01】贝叶斯决策论

         统计决策理论是处理模式分类问题的基本理论之一，它对模式分析和分类器的设计有着实际的指导意义。

 贝叶斯(Bayes)决策理论方法是统计模式识别中的一个基本方法，用这个方法进行分类时要求：

a.各类别总体的概率分布是已知的；

b.要决策分类的类别数是一定的

1 决策规则

       目前最常用的决策规则有最小错误率贝叶斯决策和最小风险贝叶斯决策。

1.1 基于最小错误率的贝叶斯决策

        在模式分类问题中，利用概率论中的贝叶斯公式，尽量减少分类的错误，可得出使错误率为最小的分类规则，称之为基于最小错误率的贝叶斯决策。以两类分类问题为例，假设向量为d 维样本，识别目的是要将归类于两种自然状态之一，用、表示两种状态。类别状态是一个随机变量，而某种状态出现的概率是可以估计的。即先验概率和已知。但由于先验概率提供的分类信息太少，所以必须利用由特征抽取得到的d 维观测向量。为简单起见，假定只用一个特征进行分类，即d=1。自然状态下观察的类别条件概率分布应为已知。和分别为类条件概率密度，利用贝叶斯公式：

j=1,2

后验 = 似然 x 先验 / 证据因子

        此处得到的条件概率密度称为状态的后验概率。因此，贝叶斯公式实质上是通过观察把状态的先验概率转化为状态的后验概率。

基于最小错误率的贝叶斯决策：

误差概率：

或者：

则其平均误差概率为：

示例：

       做出决策：属于正常细胞【注意：先验概率起主导作用，如果先验概率相等，则属于异常细胞】

===============================

拓展知识：

贝叶斯法则是关于随机事件A和B的条件概率和边缘概率的。其中P(A|B)是在B发生的情况下A发生的可能性。在贝叶斯法则中，每个名词都有约定俗成的名称：

Pr(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。
Pr(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。
Pr(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。

Pr(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）。

本文待更新.........