统计模式识别——Bayes分类器(2)
上一节,我们讨论了最小错误率分类器,接下来这一节我们将讨论最小风险Bayes分类器。
最小风险Bayes分类器
1.问题提出
1.最小错误率Bayes决策的最小错误率——概率意义上最优,在工程上是否是最优?
2.错误分类的结果、代价或风险会是怎样的?(考虑癌细胞图像识别的例子)
3.出错的可能情况:正常细胞ω1错分为异常ω2,异常细胞ω2错分为正常ω1,这两者的代价应该是不一样的。
2.需要区分的概念
状态:识别的目的是分类,把样本归类于其可能的自然状态(即类别)之一,将这种自然状态简称为状态,记为ω;
状态空间:所有可能的状态的集合构成状态空间,记为Ω;
决策:把样本归类于某个状态,或不能进行归类,都是决策,记为α;
决策空间:所有可能的决策(包括拒绝决策)的集合构成决策空间,记为Α;
3.问题已知条件和求解目标
已知:(假设类别C = 2,决策A = 2)
1. ω1、P(ω1)、p(x | ω1)和ω2 、P(ω2)、p(x | ω2)
2. Ω= {ω1,ω2}
3. А = {α1,α2}
4. 定义损失函数λ(αi,ωj) ,简记λij
发生了一个随机事件,其观察值为特征向量x
求解:最小风险分类器
4.判别函数
5.决策规则
对于未知样本x,若R(αk | x) = minR(αi | x),则x∈ωk,即决策αk。
6.推广到任意状况
已知:
1. ωj、P(ωj)、p(x|ωj), j = 1,… ,C;
2. Ω= {ω1,ω2,… ,ωC.};
3. А = {α1,α2,… ,αA};
这里C可以不等于A,因为决策可以有很多,比如拒绝决策
4. 定义损失函数λ(αi,ωj) ,简记λij;
5. 发生了一个随机事件,其观察值为特征向量x
求解:最小风险分类器
任意状况的判别函数
任意状况的决策规则
对于未知样本x,若R(αk | x) = minR(αi | x),则x∈ωk,即决策αk。
7.最小风险和最小错误率贝叶斯分类器的关系
首先定义0-1损失函数:
则:对于未知样本x,若R(αk | x) = minR(αi | x),则x∈ωk;
对于未知样本x,若P(ωk|x) = maxP(ωi|x),则x∈ωk;
结论:最小错误率Bayes决策,等价于0-1损失函数的最小风险Bayes决策。
8. 最小风险Bayes决策的特点
1. 已知条件多——各类概率分布及风险系数;
2. 最小错误风险——概率意义上工程意义上最优;
3. 设计过程复杂;