《模式识别》(第二版) 边肇祺 清华大学出版社
引言
贝叶斯( Bayes ) 决策理论方法分类时要求:
1.各类别总体的概率分布是已知的
例子:
研究的分类问题有 c 个类别, 各类别状态用 ω 来表示
1.1先验概率 P ( ωi )
1.2类条件概率密度函数p ( xi | ωi )
wi 类别
xi 特征
已知
2.要决策分类的类别数是一定的。
常用决策规则
最小错误率
计算p(w|x)比大小
最小风险的贝叶斯决策
考虑风险,误判以后带来的影响
最小错误率贝叶斯决策就是在 0-1 损失函数 条件下的最小风 险贝叶斯决策。换句话说, 前者是后者的特例
在限定一类错误率条件下使另一类错误率为最小的两类别(Neyman-Pearson)
目标函数为:
minY=P1(e)+λ(P2(e)−ξ0)
Y=∫R1[λP(x|w2)−P(x|w1)]dx+(1−λξ0)
求导得到:
∫R1P(x|w2)dx=ξ0
λ=P(t|w1)P(t|w2)
最小最大决策
最小最大决策进行分类是偏于保守的分类方法
在 作最小风险贝叶 斯决策时, 若考 虑 P ( ω 1 ) 有可 能改变或 对先验概率 毫无所知的情况, 则应选择 使最小贝叶斯风 险 R 为最 大值时的 P * ( ω 1 ) 来设计 分类器,
序贯分类方法
考虑了获取特征需要的代价
问题
各个类别的先验概率以及类条件概率密度均为已知。实际上, 从本章的介绍可知, 如果这些条件均满足, 模式识别问题就只是一个很简单的计算了。而问题的困难正在于, 这些条件通常是不满足的。