模式识别——统计决策方法——Neyman-Pearson决策规则

模式识别——统计决策方法——Neyman-Pearson决策规则

内容参考《模式识别》张学工

引言

问题背景

​ 之前讨论的最小错误率或最小风险决策方法都是在先验概率已知的条件下进行的，先验概率的数值对决策有很密切的关系。然而有时会遇到先验概率不知道，或先验概率发生变化的情况。

​ 在这种情况下，如果仍按某一一组先验概率值$P(w_i)$作决策，则很可能使实际的决策效果有较大的错误率或较大风险。能否在这种情况下，找到一种合适的分类器设计，使其最大可能的风险为最小。换句话说，如果先验概率值在教大范围内变化，就可能产生的最大风险而是最小的。

数学问题

​ 在前面的讨论中，我们知道平均错误率可以按下式计算
$$\begin{gathered} P(e)=P(w_2){\int }_{R1}P(x|w_2)dx+P(w_1){\int }_{R2}P(x|w_1)dx \\ 令P_1(e)={\int }_{R2}P(x|w_1)dx,P_2(e)={\int }_{R1}P(x|w_2)dx，则有 \\ P(e)=P_1(e)\ast P(w_1)+P_2(e)\ast P(w_2) \end{gathered}$$
​ 由于先验概率$P(w_2)$与$P(w_1)$在具体问题中往往是确定的，因此一般称$P_1(e),P_2(e)$为两类错误率。实际中，有时要求将其中某一类错误率限制在某个常数之下而使另一类错误率尽可能小。例如在癌细胞识别中，希望将异常细胞错判的概率$P_2(e)$限制在很小的值${\epsilon }_0$，同时使$P_1(e)$尽可能小。

Neyman-Pearson决策规则

​ 为此我们写出如下算式
$$\begin{gathered} \gamma =P_1(e)+\lambda (P_2(e)-{\epsilon }_0) \\ 目的是求\gamma 最小值 \\ 因为{\int }_{R1}p(x|w_1)dx=1-{\int }_{R2}p(x|w_1)dx \\ \begin{array}{rl}\gamma & ={\int }_{R2}p(x|w_1)dx+\lambda ({\int }_{R1}p(x|w_2)dx-{\epsilon }_0)\\ & =(1-\lambda {\epsilon }_0)+{\int }_{R1}[\lambda p(x|w_2)-p(x|w_1)]dx\end{array} \end{gathered}$$

分别对x和$\lambda$求导，并令其导数为零，得到
$$\{\begin{array}{l}\lambda =\frac{p(x|w_1)}{p(x|w_2)}\\ {\int }_{R1}p(x|w_2)dx={\epsilon }_0\end{array}$$
就决定了这样一个分界面$\lambda$，它使$p_2(e)={\epsilon }_0$，同时又在该条件下使$p_1(e)$尽可能小。为了能让$\gamma$尽量小，应让$R_1$积分项内全部为负值，即$\lambda p(x|w_2)-p(x|w_1)<0$

决策规则

$$\begin{gathered} 若\frac{p(x|w_1)}{p(x|w_2)}>\lambda ，则x\in w_1 \\ 若\frac{p(x|w_1)}{p(x|w_2)}<\lambda ，则x\in w_2 \end{gathered}$$

这种在限定某一类错误为常数而使另一类错误率最小的决策也称Neyman-Pearson决策规则。如果与最小错误率决策规则相对比，可以看出Neyman-Pearson决策规则也是以似然比为基础的，但两者所使用的阈值不同。最小错误率决策使用$\frac{P(w_2)}{P(w_1)}$，而Neyman-Pearson是由方程组的解获得的一个常数入。