《模式识别原理及工程应用》——2.2 贝叶斯决策理论

2.2　贝叶斯决策理论

2.2.1　贝叶斯决策理论的概念

贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。贝叶斯决策就是在不完全情况下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。

1.贝叶斯决策理论分析

1）如果我们已知被分类类别概率分布的形式和已经标记类别的训练样本集合，那我们就需要从训练样本集合中来估计概率分布的参数。在现实世界中有时会出现这种情况。（如已知为正态分布了，根据标记好类别的样本来估计参数，常见的是极大似然率和贝叶斯参数估计方法。）

2）如果我们不知道任何有关被分类类别概率分布的知识，已知已经标记类别的训练样本集合和判别式函数的形式，那我们就需要从训练样本集合中来估计判别式函数的参数。在现实世界中有时会出现这种情况。（如已知判别式函数为线性或二次的，那么就要根据训练样本来估计判别式的参数，常见的是线性判别式和神经网络。）

3）如果我们既不知道任何有关被分类类别概率分布的知识，也不知道判别式函数的形式，只有已经标记类别的训练样本集合，那我们就需要从训练样本集合中来估计概率分布函数的参数。在现实世界中经常出现这种情况。（如首先要估计是什么分布，再估计参数。常见的是非参数估计。）

4）只有没有标记类别的训练样本集合。这是经常发生的情形。我们需要对训练样本集合进行聚类，从而估计它们概率分布的参数。（这是无监督的学习。）

5）如果我们已知被分类类别的概率分布，那我们不需要训练样本集合，利用贝叶斯决策理论就可以设计最优分类器。但是，在现实世界中从没有出现过这种情况。

结论：对于任何给定问题，可以通过似然率测试决策规则得到最小的错误概率。这个错误概率称为贝叶斯错误率，且是所有分类器中可以得到的最好结果。最小化错误率的决策规则就是最大化后验概率判据。

2.贝叶斯决策判据

贝叶斯决策理论方法是统计模式识别中的一个基本方法。贝叶斯决策判据既考虑了各类参考总体出现的概率大小，又考虑了因误判造成的损失大小，判别能力强。

贝叶斯决策理论方法适用于下列场合：

1)样本数量不充分大，因而样本统计理论不适宜的场合。

2)试验具有继承性，反映在统计学上就是要具有在试验之前已有先验信息的场合。

用这种方法进行分类时要求两点：

1）要决策分类的参考总体的类别数是一定的。例如两类参考总体(正常状态D1和异常状态D2)或L类参考总体D1，D2，…，DL(如良好、满意、可以、不满意、不允许……)。

2）各类参考总体的概率分布是已知的，即每一类参考总体出现的先验概率p（Di）和各类概率密度函数p（xDi）是已知的。显然，0≤p（Di）≤1（i=1,2,…,L），Σp（Di）=1。

对于两类故障诊断问题，就相当于在识别前已知正常状态D1的概率p（D1）和异常状态D2的概率p（D2），它们是由先验知识确定的状态先验概率。如果不做进一步的仔细观测，仅依靠先验概率去作决策，那么就应给出下列决策规则：若p（D1）＞p（D2），则做出状态属于D1类的决策；反之，则做出状态属于D2类的决策。例如，某机器设备在365天中，有故障是少见的，无故障是经常的，有故障的概率远小于无故障的概率。因此，若无特别明显的异常状况，就应判断为无故障。显然，这样对某一实际的待检状态根本达不到诊断的目的，这是由于只利用先验概率提供的分类信息太少了。为此，我们还要对系统状态进行状态检测，分析所观测到的信息。

2.2.2　基于最小错误率的贝叶斯决策与实现

1.两类情况

两类情况是多类情况的基础，多类情况往往是用多个两类情况解决的。

1）用wi，i=1,2表示样本x（一般用列向量表示）所属的类别。

2）假设先验概率p（w1）,p（w2）已知。这个假设是合理的，因为如果先验概率未知则可以从训练特征向量中估算出来，即如果N是训练样本总数，其中有N1，N2个样本分别属于w1，w2，则相应的先验概率为：

3）假设（类）条件概率密度函数p（xwi），i=1，2已知，用来描述每一类中特征向量的分布情况。如果类条件概率密度函数未知，则可以从可用的训练数据中估计出来。

贝叶斯判别规则的两类情况描述为：

2.多类情况

1）w1,w2,…,wm表示样本x所属的m个类别。

2）先验概率p（wi），i=1,2,…,m。

3）假设类条件概率密度函数p（xwi），i=1,2,…,m已知,计算后验概率后，若

则x∈wi类。这样的决策可使分类错误率最小，因此叫做基于最小错误率的贝叶斯决策。

R1和R3的分界点是p（xw1）p（w1）=p（xw3）p（w3）的交点。

R2和R3的分界点是p（xw2）p（w2）=p（xw3）p（w3）的交点。

2.2.3　基于最小风险的贝叶斯决策与实现

有时最小错误率准则并不一定是最重要的或最好的指标。但对语音识别、文字识别来说可能这是最重要的指标。

有些情况下，宁可扩大一些总错误率，也要使损失减小，减小产生的后果的严重性。因此引入与损失有关联、比损失更广泛的概念——风险。

1.最小风险贝叶斯决策规则

2.最小风险贝叶斯决策的步骤

3.最小错误率与最小风险的贝叶斯决策规则的联系