错误率的计算、离散概率模型下的统计决策举例

2.6 错误率的计算

• 错误率反映了分类问题固有复杂性的程度
• 在分类器设计出来后, 通常是以错误率大小来衡量其性能优劣
• 通常是以错误率大小作为比较方案的标准
  $$\begin{gathered} P(e)=P({\omega }_1){\int }_{R_2}P(x|{\omega }_1)dx+P({\omega }_2){\int }_{R_1}P(x|{\omega }_2)dx \\ =P({\omega }_1)P_1(e)+P({\omega }_2)P_2(e)(2-96) \end{gathered}$$
• 实际中，按理论公式计算错误率很困难

由于错误率在模式识别中的重要性及计算上的复杂性，因此在处理实际问题时的三种方法：

1. 按理论公式计算
2. 计算错误率上界
3. 实验估计

2.6.1 正态分布且各类协方差矩阵相等情况下错误率的计算

在最小错误率贝叶斯决策中：
$$h(x)=-\ln l(x)=-\ln p(x|{\omega }_1)+\ln p(x|{\omega }_2)\lessgtr \ln \frac{P({\omega }_1)}{P({\omega }_2)}，则x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}$$
因此$h(x)$是随机变量，记分布密度函数为$p(h|{\omega }_1)$。
(2-96)可表示为：
$$\begin{gathered} P_1(e)={\int }_{R_2}p(x|{\omega }_1)dx={\int }_t^{+\infty }p(h|{\omega }_1)dh(2-97) \\ {P}_2(e)={\int }_{R_1}p(x|{\omega }_2)dx={\int }_{-\infty }^{t}p(h|{\omega }_2)dh(2-97) \end{gathered}$$
其中
$$t=\ln \frac{P({\omega }_1)}{P({\omega }_2)}$$

这里和 Neyman-Pearson 决策里的似然比密度函数 $p(l|{\omega }_2)$ 一样，是将变量 $x$ 换成了 $h$ 因此积分的区域也发生了相应的变化。

考虑在正态分布时的情况，决策规则可以写成：
$$\begin{gathered} h(x)=-\ln l(x)=-\ln p(x|{\omega }_1)+\ln p(x|{\omega }_2) \\ =-[-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)-\frac{d}{2}\ln 2\pi -\frac{1}{2}\ln |{\Sigma }_1|] \\ +[-\frac{1}{2}(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2)-\frac{d}{2}\ln 2\pi -\frac{1}{2}\ln |{\Sigma }_2|] \\ =\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)-\frac{1}{2}(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2)+\frac{1}{2}\ln \frac{|{\Sigma }_1|}{|{\Sigma }_2|} \\ \lessgtr \ln \frac{P({\omega }_1)}{P({\omega }_2)}\to x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}(2-100) \end{gathered}$$
如果协方差矩阵相等${\Sigma }_1={\Sigma }_2=\Sigma$时，决策规则可简化为：
$$h(x)=({\mu }_2-{\mu }_1{)}^T{\Sigma }^{-1}x+\frac{1}{2}({\mu }_1^T{\Sigma }^{-1}{\mu }_1-{\mu }_2^T{\Sigma }^{-1}{\mu }_2)\lessgtr \ln \frac{P({\omega }_1)}{P({\omega }_2)}\to x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}(2-101)$$
因此（2-101）可看成是对 $x$ 的各分量作线性组合 ${\alpha }^{T}x$ ，再平移，其中 ${\alpha }^T=({\mu }_2-{\mu }_1{)}^T{\Sigma }^{-1}$ 。对于 $p(h|{\omega }_1)$ ，可以计算出决定一维正态分布的参数均值 ${\eta }_1$ 及方差 ${\sigma }_1^2$ ：
$$\begin{gathered} {\eta }_1=E[h(x)|{\omega }_1]=({\mu }_2-{\mu }_1{)}^T{\Sigma }^{-1}{\mu }_1+\frac{1}{2}({\mu }_1^T{\Sigma }^{-1}{\mu }_1-{\mu }_2^T{\Sigma }^{-1}{\mu }_2) \\ =-\frac{1}{2}({\mu }_1-{\mu }_2{)}^T{\Sigma }^{-1}({\mu }_1-{\mu }_2)(2-102) \end{gathered}$$
令
$$\eta =\frac{1}{2}[({\mu }_1-{\mu }_2{)}^T{\Sigma }^{-1}({\mu }_1-{\mu }_2)]$$
则
$$\begin{gathered} {\eta }_1=-\eta \\ {\sigma }_1^2=E\{[h(x)-\eta {]}^2|{\omega }_1\}=({\mu }_1-{\mu }_2{)}^T{\Sigma }^{-1}({\mu }_1-{\mu }_2)=2\eta (2-103) \end{gathered}$$
同样的可以得出$p(h|{\omega }_2)$的参数均值$\eta$及方差${\sigma }_2^2$：
$$\begin{gathered} {\eta }_2=\frac{1}{2}({\mu }_1-{\mu }_2{)}^T{\Sigma }^{-1}({\mu }_1-{\mu }_2)=\eta (2-104) \\ {\sigma }_2^2=({\mu }_1-{\mu }_2{)}^T{\Sigma }^{-1}({\mu }_1-{\mu }_2)=2\eta (2-105) \end{gathered}$$
因此，可以求出$P_1(e)$与$P_2(e)$：
P 1 ( e ) = ∫ t + ∞ p ( h ∣ ω 1 ) d h = ∫ t + ∞ 1 ( 2 π ) σ exp ⁡ { − 1 2 ( h + η σ ) 2 } d h = ∫ t + ∞ ( 2 π ) − 1 2 exp ⁡ { − 1 2 ( h + η σ ) 2 } d ( h + η σ ) = ∫ t + η σ + ∞ ( 2 π ) − 1 2 exp ⁡ ( − 1 2 ξ 2 ) d ξ ( 2 − 106 ) P 2 ( e ) = ∫ − ∞ t p ( h ∣ ω 2 ) d h = ∫ − ∞ t ( 2 π ) − 1 2 exp ⁡ { − 1 2 ( h − η σ ) 2 } d ( h − η σ ) = ∫ − ∞ t − η σ ( 2 π ) − 1 2 exp ⁡ ( − 1 2 ξ 2 ) d ξ ( 2 − 107 ) P_1(e)=\int_t^{+\infin}p(h|\omega_1)dh \newline =\int_t^{+\infin}\dfrac{1}{\sqrt{(2\pi)}\sigma} \exp\{ -\dfrac{1}{2}(\dfrac{h+\eta}{\sigma})^2\}dh \newline =\int_t^{+\infin}(2\pi)^{-\dfrac{1}{2}} \exp \{ -\dfrac{1}{2}(\dfrac{h+\eta}{\sigma})^2\}d(\dfrac{h+\eta}{\sigma}) \newline =\int_{\dfrac{t+\eta}{\sigma}}^{+\infin}(2\pi)^{-\dfrac{1}{2}} \exp (-\dfrac{1}{2}\xi^2)d\xi \quad(2-106) \newline P_2(e)=\int_{-\infin}^t p(h|\omega_2)dh \newline =\int_{-\infin}^t(2\pi)^{-\dfrac{1}{2}} \exp \{ -\dfrac{1}{2}(\dfrac{h-\eta}{\sigma})^2\}d(\dfrac{h-\eta}{\sigma}) \newline =\int_{-\infin}^{\dfrac{t-\eta}{\sigma}}(2\pi)^{-\dfrac{1}{2}} \exp (-\dfrac{1}{2}\xi^2)d\xi \quad(2-107) P1​(e)=∫t+∞​p(h∣ω1​)dh=∫t+∞​(2π) ​σ1​exp{−21​(σh+η​)2}dh=∫t+∞​(2π)−21​exp{−21​(σh+η​)2}d(σh+η​)=∫σt+η​+∞​(2π)−21​exp(−21​ξ2)dξ(2−106)P2​(e)=∫−∞t​p(h∣ω2​)dh=∫−∞t​(2π)−21​exp{−21​(σh−η​)2}d(σh−η​)=∫−∞σt−η​​(2π)−21​exp(−21​ξ2)dξ(2−107)
其中
$$t=\ln \frac{P({\omega }_1)}{P({\omega }_2)},\sigma =\sqrt{2\eta }$$

2.6.2 高维独立随机变量时错误率的估计

当 $d$ 维随机向量 $x$ 的分量间相互独立时， $x$ 的密度函数可表示为
$$p(x|{\omega }_i)=\prod _{l=1}^{d}p(x_l|{\omega }_i),i=1,2(2-108)$$
因此负对数似然比 $h(x)$ 为
$$h(x)=\sum _{l=1}^{d}h(x_l)(2-109)$$
其中
$$h(x_l)=-\ln \frac{p(x_l|{\omega }_1)}{p(x_l|{\omega }_2)}(2-110)$$
根据中心极限定理， $h(x)$ 的密度函数总是趋于正态分布。因此， $h(x)$ 的均值 ${\eta }_i$ 及方差 ${\sigma }_i^2$ 。
η i = E [ h ( x ) ∣ ω i ] = E [ ∑ l = 1 d h ( x l ) ∣ ω i ] = ∑ l = 1 d η i l ( 2 − 111 ) σ i 2 = E { [ h ( x ) − η i ] 2 ∣ ω i } = E { ∑ l = 1 d [ h ( x l ) − η i l ] 2 + ∑ l , j = 1 l = / j d [ h ( x l ) − η i l ] [ h ( x j ) − η i j ] ∣ ω i } = ∑ l = 1 d E { [ h ( x l ) − η i l ] 2 ∣ ω i } + ∑ l , j = 1 l ≠ j d E { [ h ( x l ) − η i l ] [ h ( x j ) − η i j ] ∣ ω i } ( 2 − 112 ) \eta_i=E[h(x)|\omega_i]=E[\sum\limits_{l=1}^dh(x_l)|\omega_i]=\sum\limits_{l=1}^d\eta_{il} \quad(2-111) \newline \sigma_i^2=E\{[h(x)-\eta_i]^2|\omega_i\} \newline =E\{\sum\limits_{l=1}^d[h(x_l)-\eta_{il}]^2+\sum_{\substack{l,j=1\\ l{=}\mathllap{/\,}j}}^d[h(x_l)-\eta_{il}][h(x_j)-\eta_{ij}]|\omega_i\} \newline =\sum\limits_{l=1}^dE\{[h(x_l)-\eta_{il}]^2|\omega_i\}+\sum_{\substack{l,j=1\\ l \not=j}}^dE\{[h(x_l)-\eta_{il}][h(x_j)-\eta_{ij}]|\omega_i\} \quad(2-112) ηi​=E[h(x)∣ωi​]=E[l=1∑d​h(xl​)∣ωi​]=l=1∑d​ηil​(2−111)σi2​=E{[h(x)−ηi​]2∣ωi​}=E{l=1∑d​[h(xl​)−ηil​]2+l,j=1l=/j​∑d​[h(xl​)−ηil​][h(xj​)−ηij​]∣ωi​}=l=1∑d​E{[h(xl​)−ηil​]2∣ωi​}+l,j=1l=j​∑d​E{[h(xl​)−ηil​][h(xj​)−ηij​]∣ωi​}(2−112)
根据独立性假设，第二项必定为零，所以方差可写为
$${\sigma }_i^2=\sum _{l=1}^d{\sigma }_{il}^2(2-113)$$
需要注意的是，这种计算必须在维数 $d$ 较大时使用。

2.7 离散概率模型下的统计决策举例

采用基于马尔可夫模型来预测或确定CpG岛。如果第 $i$ 时刻上的取值依赖于且仅依赖于第 $i-1$ 时刻的取值，状态转移矩阵中行表示前一时刻的取值，列表示当前时刻的取值。
$$\begin{gathered} P(x_i|x_{i-1},x_{i-2},\cdots ,x_1)=P(x_i|x_{i-1})(2-114) \\ {a}_{st}=P(x_i=t|x_{i-1}=s)(2-115) \\ P(x)\triangleq P(x_1,x_2,\cdots ,x_i)=P(x_1)\prod _{i=2}^L{a}_{x_{i-1}}{a}_{x_i}(2-116) \end{gathered}$$

状态转移矩阵：
状态转移图：

离散变量情况下思路与连续变量类似。如果知道两类的状态转移矩阵，那么对于一个系列样本，我们就可以用式（2-116）分别计算每一类模型下观察到该特定序列的可能性或似然度 $P(x|{\omega }_1)$ ，用同样的似然比来进行类别判断。把 CpG 岛的一类记作 “+”，马尔可夫转移概率记作 $a_{x_{i-1}{x}_i}^{+}$ ；把非 CpG 岛的一类记作 “-” ，非 CpG 岛情况下的马尔可夫转移概率记作 $a_{x_{i-1}{x}_i}^{-}$ ，为了方便处理，采用对数似然比进行判别，这一比值通常又被叫做对数几率比。
$$S(x)=\log \frac{P(x|+)}{P(x|-)}=\log \frac{\prod _{i=1}^L{a}_{x_{i-1}{x}_i}^{+}}{\prod _{i=1}^L{a}_{x_{i-1}{x}_i}^{-}}=\sum _{i=1}^L\log \frac{a_{x_{i-1}{x}_i}^{+}}{a_{x_{i-1}{x}_i}^{-}}(2-117)$$
假设我们已经收集了充分的、有代表性的一些 CpG 岛序列片段和一些非 CpG 岛序列片段，统计在所有位置上出现 A、C、G、T 的次数，再统计在每个 A、C、G、T 后面出现 A、C、G、T 的次数，然后用 $a_{st}^{+}=\frac{c_{st}^{+}}{{\sum }_{t^{\prime }}{c}_{s{t}^{\prime }}^{+}}$ 和 $a_{st}^{-}=\frac{c_{st}^{-}}{{\sum }_{t^{\prime }}{c}_{s{t}^{\prime }}^{-}}$ 来分别估计两类的状态转移概率，其中， $c_{st}^{+}$ 表示 CpG 岛类中从某状态 $s$ 转移到状态 $t$ 的出现次数， ${\sum }_{t^{\prime }}{c}_{s{t}^{\prime }}^{+}$表示对 $s$ 后所有可能出现的状态次数求和； $c_{st}^{-}$ 表示在非 CpG 岛上同样的量。

CpG 岛与非 CpG 岛状态转移矩阵


即是求图中两个矩阵的相应单元的比值，因此可将式（2-117）变成
$$S(x)=\log \frac{P(x|+)}{P(x|-)}=\sum _{i=1}^L\log \frac{a_{x_{i-1}{x}_i}^{+}}{a_{x_{i-1}{x}_i}^{-}}=\sum _{i=1}^L{\beta }_{x_{i-1}{x}_i}(2-118)$$
其中， ${\beta }_{st}$ 为相应的 $a_{st}^{+}$ 与 $a_{st}^{-}$ 比值的对数（以2为底），计算出对数自然比矩阵。

最后按照适当的阈值进行决策。

2.8 小结

统计决策的基本原理就是根据各类特征的概率模型来估算后验概率，通过比较后验概率进行决策。而通过贝叶斯公式，后验概率的比较可以转化为类条件概率密度的比较，因此下一章将重点讨论类条件概率密度的估计。

参考
张学工. 模式识别. 第三版. 北京：清华大学出版社，2010
张学工，汪小我. 模式识别与机器学习. 第四版. 北京：清华大学出版社，2021
部分图片来源于网络