模式识别--统计模式识别（6）

统计模式识别——Bayes分类器（2）

上一节，我们讨论了最小错误率分类器，接下来这一节我们将讨论最小风险Bayes分类器。

最小风险Bayes分类器

1.问题提出

1.最小错误率Bayes决策的最小错误率——概率意义上最优，在工程上是否是最优?

2.错误分类的结果、代价或风险会是怎样的？（考虑癌细胞图像识别的例子）

3.出错的可能情况：正常细胞ω1错分为异常ω2，异常细胞ω2错分为正常ω1，这两者的代价应该是不一样的。

2.需要区分的概念

状态：识别的目的是分类，把样本归类于其可能的自然状态（即类别）之一，将这种自然状态简称为状态，记为ω；

状态空间：所有可能的状态的集合构成状态空间，记为Ω；

决策：把样本归类于某个状态，或不能进行归类，都是决策，记为α；

决策空间：所有可能的决策（包括拒绝决策）的集合构成决策空间，记为Α；

3.问题已知条件和求解目标

已知：（假设类别C = 2，决策A = 2）

1. ω1、P(ω1)、p(x | ω1)和ω2 、P(ω2)、p(x | ω2)

2. Ω= {ω1，ω2}

3. А = {α1，α2}

4. 定义损失函数λ(αi，ωj) ，简记λij

发生了一个随机事件，其观察值为特征向量x

求解：最小风险分类器

4.判别函数

5.决策规则

对于未知样本x，若R(αk | x) = minR(αi | x)，则x∈ωk，即决策αk。

6.推广到任意状况

已知：

1. ωj、P(ωj)、p(x|ωj)，                     j = 1，… ，C；

2. Ω= {ω1，ω2，… ，ωC.}；

3. А = {α1，α2，… ，αA}；              

这里C可以不等于A,因为决策可以有很多，比如拒绝决策

4. 定义损失函数λ(αi，ωj) ，简记λij；

5. 发生了一个随机事件，其观察值为特征向量x

求解：最小风险分类器

任意状况的判别函数

任意状况的决策规则

对于未知样本x，若R(αk | x) = minR(αi | x)，则x∈ωk，即决策αk。

7.最小风险和最小错误率贝叶斯分类器的关系

首先定义0-1损失函数：

则：对于未知样本x，若R(αk | x) = minR(αi | x)，则x∈ωk；

       对于未知样本x，若P(ωk|x) = maxP(ωi|x)，则x∈ωk；

结论：最小错误率Bayes决策，等价于0-1损失函数的最小风险Bayes决策。

8. 最小风险Bayes决策的特点

1. 已知条件多——各类概率分布及风险系数；

2. 最小错误风险——概率意义上工程意义上最优；

3. 设计过程复杂；