模式识别

模式识别分类问题

1 贝叶斯决策理论

1.1 使用贝叶斯理论前提

1. 各类别总体的概率分布已知
2. 要分类的类别数一定

1.2 元素

特征向量：d种特征$x_1,x_2,...,x_d$组成的d维向量$\vec{x}={\left(\begin{array}{cccc}{x}_1& x_2& \cdots & x_b\end{array}\right)}^T$。
类别： c个类别， ${\omega }_1,...,{\omega }_c$
先验概率密度： 每个类别出现的概率$p({\omega }_i)$
类条件概率密度：$p(x|{\omega }_i)$

1.3 几种常用的决策规则

1.3.1 基于最小错误率的贝叶斯决策

1.3.1.1 贝叶斯公式(由乘法公式和全概率公式可证)：
$$P({\omega }_i|x)=\frac{P(x|{\omega }_i)P({\omega }_i)}{{\sum }_{j=1}^{c}P(x|{\omega }_j)P({\omega }_j)}$$
1.3.1.2 判别标准:

1. $P({\omega }_i|x)=\underset{j=1,2,\cdots ,c}{\max }P({\omega }_j|x)$,则$x\in {\omega }_i$
2. $P(x|{\omega }_i)P({\omega }_i)=\underset{j=1,2,\cdots ,c}{\max }P(x|{\omega }_j)P({\omega }_j)$,则$x\in {\omega }_i$
3. $l(x)=\frac{P(x|{\omega }_1)}{P(x|{\omega }_2)}\ge \frac{P({\omega }_2)}{P({\omega }_1)}$则$x\in {\omega }_i$
4. $\ln (l(x))=\ln p(x|{\omega }_1)-\ln p(x|{\omega }_2)\ge \ln \frac{p({\omega }_2)}{p({\omega }_1)}$,则$x\in {\omega }_i$

1.3.1.3 错误率:
$$p(e)={\int }_{-\infty }^{+\infty }p(e,\mathbf{x})\mathrm{d}\mathrm{x}={\int }_{-\infty }^{+\infty }p(e|x)p(x)dx$$

1.3.2 最小风险的贝叶斯决策

1.3.2.1 定义
决策空间：$A={\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_a$
状态空间：$\Omega ={\omega }_1,{\omega }_2,\cdots ,{\omega }_c$
a可以不等于c，比如拒绝决策
损失函数：$\lambda ({\alpha }_i,{\omega }_j)$
1.3.2.2 最小风险
$$R({\alpha }_i|x)=E[\lambda ({\alpha }_i,{\omega }_j)]=\sum _{j=1}^c\lambda ({\alpha }_i,{\omega }_j)p({\omega }_j|x)$$
其中
$$P({\omega }_j|x)=\frac{P(x|{\omega }_j)P({\omega }_j)}{{\sum }_{i=1}^{c}P(x|{\omega }_i)P({\omega }_i)}$$