模式识别week2

上课笔记，主要是理思路，内容并不全

概率名词

类别-样本

• 联合概率密度
• 总体概率密度
• 类条件概率密度：以类为条件，样点的概率
• 先验概率：对类的总体认识
• 后验概率：从样本得到的对类的认识

贝叶斯决策理论介绍

映射

一类样本被映射到整个$R^d$空间，在某些区域概率密度较大

最小错误率贝叶斯决策

根据后验概率进行的判别，可以证明具有最小的错误率

决策错误率

任何决策都有正确概率和错误概率

所有类都可能映射到判决空间样点x，x的矢量值是唯一判据

所以任何映射到x的情况都要只判为某一类w，而不能判决为几类；其他的类映射到x就发生了判断错误

在x点处选择后验概率最大的类使得这一点处正确率最大，错误率最小

最小错误率

求决策规则，使下式（依赖后验概率的错误率计算）最小
$$\int P(e|x)p(x)dx$$
要让平均最小，只要让每个点最小

如果认为$p(x)$不含有决策信息，选择最大的后验概率对应的类作为判决结果
根据贝叶斯公式，利用先验后验之间的关系，只要让先验概率与类条件密度的乘积最大

最优性和瑕疵

所有可能决策方式中，最小错误率贝叶斯真的具有最小的错误率，但是不一定是综合的最好解决方案

贝叶斯决策最大的问题是如何得到合理的先验概率