模式识别-从贝叶斯决策理论看模式分类

模式识别中的贝叶斯决策理论

理论路线

难点解析

话不多说，我们先梳理一下贝叶斯模式分类的基本流程：

• 收集训练样本
• 用每一类的样本估计类条件概率密度$p(x|w_i)$
• 估计类先验概率$p(w_i)$
• 得到模型参数集 { $p(x|w_i,{\theta }_i),p(w_i),i=1,...,M$}

有这个比较确定的流程后，大家对贝叶斯决策就有了大致的印象。我们最终的目的是为了获取贝叶斯分类器，那么我们先从我们的最终目的讲起，然后再往前讲述如何获取分类器。

贝叶斯分类器

如本文开始的理论路线图，贝叶斯决策主要有两个路线，一个是根据最小错误率决策，另一个是根据最小风险决策，在风险决策的基础上，还有一个带拒识的最小风险决策。下面我们分别来讲解三个决策方法。

最小错误率决策

让我们先举一个简单例子，假如我们要做一个贝叶斯分类器，预测本文的下一个浏览者是男是女。假设我们没有使用任何信息获取的手段，单纯本人现有的背景知识（本文的背景是工科知识，而本人工科院校中男女比多为2:8），则应该有如下先验概率$p(w_1=woman)=0.2$,$p(w_2=man)=0.8$。有了这样的背景知识，我们可以分析如下：
p ( e r r o r ) = { p ( w 2 ) c h o o s e w o m a n p ( w 1 )