- 贝叶斯公式
P(
其中,
- 贝叶斯决策:在类条件概率密度和先验概率已知(或可以估计)的情况下,通过贝叶斯公式比较样本属于类别的后验概率,将类别决策为后验概率大的一类,这种做的目的是为了使总体错误率最小。
- 任一决策都有可能会错误。对两类问题,在样本
上错误的概率为
错误率定义为所有服从同样分布的独立样本上错误概率的期望,即
这里,用
在所有样本上做出正确决策的概率就是正确率,通常记作
- 最小错误率贝叶斯决策
在一般的模式识别问题中,人们往往希望尽量减少分类的错误,即目标是追求最小错误率。从最小错误率的要求出发,利用概率论中的贝叶斯公式,就能得出使错误率最小的分类决策,称为最小错误率贝叶斯决策。
最小错误率就是求解一种决策规则,使式(*1)最小化,即
使错误率最小的决策就是使后验概率最大的决策。
- 对于两类问题,得到如下决策规则:
如果
最小错误率贝叶斯决策规则可以表示成多种等价的形式,比如:
(1) 若
(2) 根据贝叶斯公式,因为两类分母相同,所以决策时实际上只需要比较分子,即
若
(3)由于先验概率