贝叶斯决策理论

《模式识别》(第二版) 边肇祺 清华大学出版社

引言

贝叶斯( Bayes ) 决策理论方法分类时要求:
1.各类别总体的概率分布是已知的
例子：
研究的分类问题有 c 个类别, 各类别状态用 ω 来表示
1.1先验概率 P ( ωi )
1.2类条件概率密度函数p ( xi | ωi )
wi 类别
xi 特征
已知
2.要决策分类的类别数是一定的。

常用决策规则

最小错误率

计算p(w|x)比大小

最小风险的贝叶斯决策

考虑风险，误判以后带来的影响
最小错误率贝叶斯决策就是在 0-1 损失函数 条件下的最小风 险贝叶斯决策。换句话说, 前者是后者的特例

在限定一类错误率条件下使另一类错误率为最小的两类别(Neyman-Pearson)

目标函数为：$min Y=P_1(e)+\lambda (P_2(e)-\xi_0)$
$Y=\int _{R1}[\lambda P(x|w_2)-P(x|w_1)]dx+(1-\lambda \xi_0)$
求导得到：
$\int_{R1}P(x|w_2)dx=\xi_0$
$\lambda=\frac{P(t|w_1)}{P(t|w_2)}$

最小最大决策

最小最大决策进行分类是偏于保守的分类方法
在 作最小风险贝叶 斯决策时, 若考 虑 P ( ω 1 ) 有可 能改变或 对先验概率 毫无所知的情况, 则应选择 使最小贝叶斯风 险 R 为最 大值时的 P * ( ω 1 ) 来设计 分类器,

序贯分类方法

考虑了获取特征需要的代价

问题

各个类别的先验概率以及类条件概率密度均为已知。实际上, 从本章的介绍可知, 如果这些条件均满足, 模式识别问题就只是一个很简单的计算了。而问题的困难正在于, 这些条件通常是不满足的。