模式识别基础

本文根据《模式识别》（张学工 第三版）内容整理

统计决策方法

贝叶斯公式

$$P({\omega }_i|x)=\frac{p(x,{\omega }_i)}{p(x)}=\frac{p(x|{\omega }_i)P({\omega }_i)}{p(x)}$$其中$x$为样本数据，${\omega }_i$为类别，$p({\omega }_i|x)$为后验概率，$p(x,{\omega }_i)$为联合概率密度，$p(x|{\omega }_i)$为类条件密度，$P({\omega }_i)$为先验概率，$p(x)$为总体密度。$p(x)$可用全概率公式算出
$$p(x)=\sum _{i=1}^{n}P({\omega }_i)p(x|{\omega }_i)$$

贝叶斯决策

在分类问题中，对于不同类别总体密度相同，各类别先验概率与条件概率已知，判断样本为哪一类别的决策称为为贝叶斯决策。
单个样本x错误率：$p(e|x)=\{\begin{array}{ll}P({\omega }_2|x)& \text{ decision }x\in {\omega }_1\\ P({\omega }_1|x)& \text{ decision }x\in {\omega }_2\end{array}$
整体错误率：$p(e)=\int P(e|x)p(x)dx$
正确率：$P(c)=1-P(e)$

最小错误率贝叶斯决策

目标是减少错误率，根据定义应将样本归为后验概率较大的一类，即决策规则为：
$$若P({\omega }_1|x)>P({\omega }_2|x)，则x\in {\omega }_1，否则x\in {\omega }_2$$后验概率可通过贝叶斯公式求得。由于整体概率相同，可以只判断$p(x|{\omega }_i)P({\omega }_i)$项，又先验概率可以事先确定，故可以通过事先计算的似然比阈值$\lambda$判断，定义如下
$$若l(x)=\frac{p(x|{\omega }_1)}{p(x|{\omega }_2)}>\lambda =\frac{P({\omega }_2)}{P({\omega }_1)}，则x\in {\omega }_1，否则x\in {\omega }_2$$为计算方便定义了对数似然比
$$\begin{gathered} h(x)=-ln[l(x)]=-lnp(x|{\omega }_1)+lnp(x|{\omega }_2) \\ 若h(x)<ln\frac{P({\omega }_1)}{P({\omega }_2)}，则x\in {\omega }_1，否则x\in {\omega }_2 \end{gathered}$$对于多分类情况类似。

最小风险贝叶斯决策

在最小错误率贝叶斯决策的基础上加入损失系数$\lambda ({\alpha }_i,{\omega }_j),i=1\cdots k,j=1\cdots c$，c为类别数，k为决策结果。注意这里k与c可以不相等，表示分类时可以将几类合并或者设置拒绝类。 以决策和真实状态组合的损失系数构成决策表，决策表根据背景知识事先确定。$\lambda (1,2)$表示将第2类样本分入第1类时的损失。通常有${\lambda }_{11}={\lambda }_{22}=0，{\lambda }_{12}>{\lambda }_{22}，{\lambda }_{21}>{\lambda }_{11}$。
在2分类情况下，决策规则为$$若{\lambda }_{11}P({\omega }_1|x)+{\lambda }_{12}P({\omega }_2|x)>{\lambda }_{21}P({\omega }_2|x)+{\lambda }_{22}P({\omega }_1|x)，则x\in {\omega }_1，否则x\in {\omega }_2$$同样可以事先计算的似然比阈值
$$若l(x)=\frac{p(x|{\omega }_1)}{p(x|{\omega }_2)}>\lambda =\frac{P({\omega }_2)}{P({\omega }_1)}\frac{{\lambda }_{12}-{\lambda }_{22}}{{\lambda }_{21}-{\lambda }_{11}}，则x\in {\omega }_1，否则x\in {\omega }_2$$当${\lambda }_{11}={\lambda }_{22}=0，{\lambda }_{21}={\lambda }_{12}=1$时转化为最小错误率贝叶斯决策。

两类错误率与ROC曲线

在二分类中，通常使用阳性和阴性代表两类检测结果。根据决策正确与否有以下四类结果

灵敏度和特异度

灵敏度Sn和特异度Sp定义如下
$$\begin{gathered} S_n=\frac{TP}{TP+FN} \\ {S}_p=\frac{TN}{TN+FP} \end{gathered}$$灵敏度表示阳性样本中被检测出的比例，特异性表示阴性样本中没有被误判的比例。

两类错误率

假阳性又称为第一类错误（误报、虚警），用$\alpha$表示；假阴性称为第二类错误（漏检），用$\beta$表示。则
S n = 1 − β S p = 1 − α S_{n}=1-\beta \\ S_{p}=1-\alpha Sn​=1−βS