模式识别Chp2.1-2.5统计决策方法

2.1 基本概念(引例)

1. 分类可以看作一种决策，即我们根据观测样本做出归属哪类的决策。
2. def先验概率(Priori Probability): 没有对样本进行观测的情况下的概率。
   Eg. 猜测手中的硬币是哪一面，判断$$P({\omega }_1)=P({\omega }_2)=0.5$$利用的是先验概率。
3. def错误率: 对所有可能出现样本上类别决策错误的概率。
4. def后验概率: 在有特征的前提下的概率$P({\omega }_1|x)$。
   Eg. 根据硬币的重量$x$判别硬币的类型。
5. 贝叶斯公式(Bayes’ Formula)(很重要)
   后验概率为:
   $$P({\omega }_i|x)=\frac{p(x,{\omega }_i)}{p(x)}=\frac{p(x|{\omega }_i)P({\omega }_i)}{p(x,{\omega }_i)}$$
   where, $P({\omega }_i)$是先验概率，$p(x|{\omega }_i)$为类条件概率密度
6. 贝叶斯决策(Bayes Descion)
   在已知先验概率(或可以估计)和类条件概率密度的情况下，通过贝叶斯公式比较后验概率，决策为后验概率大的一类，使得总体错误率最小(最小错误率原则)。
7. 约定表述:
   假定样本$x\in R^d$是由$d$维(Dimension)实数特征组成的，即
   $$x=[x_1,x_2,...,x_d{]}^T$$
   要研究的类别有c个(Class)，记为${\omega }_i,i=1..c$
   类别数$c$已知，类条件概率密度已知，要对未知样本$x$做决策
8. 对二分类问题
   错分类的概率为
   $$p(e|x)=\{\begin{array}{c}P({\omega }_2|x),x\in {\omega }_1\\ P({\omega }_1|x),x\in {\omega }_2\end{array}$$
   错误率为所有独立同分布样本上的错误概率的期望
   $$P(e)=\int p(e|x)p(x)dx$$
   Ps. 已知$x$的分布，
   $$E(f(x))=\int f(x)p(x)dx$$

2.2 最小错误率贝叶斯决策

1. 最小错误率决策规则
   $$minP(e)=\int p(e|x)p(x)dx$$