统计决策方法

2.1 引言

• 假定要对一角或者五角的硬币进行分类，在未对样本进行观测的情况下，人们一般会选择先验概率较大的决策规则，即
  $$如果P({\omega }_1)>P({\omega }_2),则x\in {\omega }_1;反之，则\in {\omega }_2（2-1）$$
  在二分类的情况下，$P({\omega }_1)+P({\omega }_2)=1$。
  如果决策$x\in {\omega }_1$，错误率（决策错误的概率）：
  $$P(error)=1-P({\omega }_1)=P({\omega }_2)$$
  式（2-1）即为最小错误率准则。
• 假定仍然不允许看硬币，但是允许你用天平来称量硬币的重量，并根据重量来做决策。即已知这枚硬币重量为$x$的情况下硬币属于各类的概率，分别记为$P({\omega }_1|x)$与$P({\omega }_2|x)$,这种概率称作后验概率。此时的决策规则为
  $$如果P({\omega }_1|x)>P({\omega }_2|x),则x\in {\omega }_1;反之，则x\in {\omega }_2(2-2)$$
  如果决策$x\in {\omega }_1$，错误率：
  $$P(error)=1-P({\omega }_1|x)=P({\omega }_2|x)$$
  式（2-2）仍为最小错误率决策。
  根据贝叶斯公式：
  $$P({\omega }_i|x)=\frac{p(x,{\omega }_i)}{p(x)}=\frac{p(x|{\omega }_i)P({\omega }_i)}{p(x)},i=1,2(2-3)$$
  式（2-3）中分母部分相等，因此只需要比较分子上的两项即可，即
  $$如果p(x|{\omega }_1)P({\omega }_1)>p(x|{\omega }_2)P({\omega }_2),则x\in {\omega }_1;反之，则x\in {\omega }_2(2-4)$$
  以上就是贝叶斯决策的基本思想。
• 对两类问题，在样本$x$上错误的概率为：
• $$p(e|\text{x})=\{\begin{array}{ll}P({\omega }_2|\text{x})& \text{if }决策\text{x}\in {\omega }_1\\ P({\omega }_1|\text{x})& \text{if }决策\text{x}\in {\omega }_2\end{array}(2-5)$$
  错误率为满足独立同分布的样本上错误概率的期望，即
  $$P(e)=\int P(e|\text{x})p(\text{x})dx（2-6）$$

2.2 最小错误率贝叶斯决策

最小错误率贝叶斯决策是使式（2-6）最小化，即
$$\min P(e)=\int P(e|\text{x})p(\text{x})dx(2-7)$$
在2.1的讨论中，最小错误率贝叶斯决策可表示为：
$$如果P({\omega }_1|x)\gtrless P({\omega }_2|x),则x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}(2-8)$$
其中后验概率用贝叶斯公式求得：
$$P({\omega }_i|x)=\frac{p(x|{\omega }_i)P({\omega }_i)}{p(x)}=\frac{p(x|{\omega }_i)P({\omega }_i)}{\sum _{j=1}^{2}p(x|{\omega }_j)P({\omega }_j)},i=1,2(2-9)$$
等价形式：

• $若P({\omega }_i|x)=\underset{j=1,2}{\max }P({\omega }_j|x),则x\in {\omega }_i(2-10)$
• $若p(x|{\omega }_i)P({\omega }_i)=\underset{j=1,2}{\max }P(x|{\omega }_j)P({\omega }_j),则x\in {\omega }_i(2-11)$
• $若l(x)=\frac{p(x|{\omega }_1)}{p(x|{\omega }_2)}\gtrless \lambda =\frac{P({\omega }_2)}{P({\omega }_1)}，则x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}(2-12)$
• $若h(x)\lessgtr \ln \frac{P({\omega }_1)}{P({\omega }_2)}，则x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}(2-13)$
  
  错误率：
  $P(e)=$$$\begin{gathered} {\int }_{-\infty }^{t}P({\omega }_2|x)p(x)dx+{\int }_t^{+\infty }P({\omega }_1|x)p(x)dx \\ ={\int }_{-\infty }^{t}P(x|{\omega }_2)p({\omega }_2)dx+{\int }_t^{+\infty }P(x|{\omega }_1)p({\omega }_1)dx(2-14) \\ =P({\omega }_2){\int }_{R_1}p(x|{\omega }_2)dx+P({\omega }_1){\int }_{R_2}p(x|{\omega }_1)dx \\ =P({\omega }_2)P_2(e)+P({\omega }_1)P_1(e)(2-15) \end{gathered}$$
  其中
  $$P_1(e)={\int }_{R_2}p(x|{\omega }_1)dx(2-16a)$$
  $$P_2(e)={\int }_{R_1}p(x|{\omega }_2)dx(2-16b)$$
  多类情况下，最小错误率贝叶斯决策：
  $$若P({\omega }_i|x)=\underset{j=1,\dots ,c}{\max }P({\omega }_j|x)，则x\in {\omega }_i(2-17a)$$
  或
  $$p(x|{\omega }_i)P({\omega }_i)=\underset{j=1,\dots ,c}{\max }p(x|{\omega }_j)P({\omega }_j)，则x\in {\omega }_i(2-17b)$$
  由于错分的情况很多，可以通过计算平均正确率
  $$P(c)=\sum _{j=1}^{c}P(x\in R_j|{\omega }_j)P({\omega }_j)=\sum _{j=1}^c{\int }_{R_j}p(x|{\omega }_j)P({\omega }_j)dx(2-18)$$
  并用
  $$P(e)=1-P(c)=1-\sum _{j=1}^{c}P({\omega }_j){\int }_{R_j}p(x|{\omega }_j)dx(2-19)$$
  计算平均错误率

2.3 最小风险贝叶斯决策

在实际问题中不同的决策可能带来不同的损失，因此常用决策表将不同决策的损失表示出来,其中$\alpha$为决策。
$$\lambda ({\alpha }_i,{\omega }_j)，i=1,\dots \dots ,k,j=1,\dots \dots ,c(2-20)$$
对于某个样本$x$，它属于各个状态的后验概率为$P({\omega }_j|x),j=1,\dots ,c$，对它采取决策${\alpha }_i,i=1,\dots ，k$的期望损失为：
$$R({\alpha }_i|x)=E[\lambda ({\alpha }_i,{\omega }_j)|x]=\sum _{j=1}^c\lambda ({\alpha }_i,{\omega }_j)P({\omega }_j|x),i=1,\dots ,k(2-21)$$
设有某一决策规则$\alpha (x)$，它对特征空间中所有可能的样本$x$采取决策所造成的期望损失是
$$R(\alpha )=\int R(\alpha (x)|x)p(x)dx(2-22)$$
$R(\alpha )$称作平均风险或期望风险。最小风险贝叶斯决策就是最小化这一期望风险，即
$$\underset{\alpha }{\min }R(\alpha )(2-23)$$
将不影响结果的项去掉，化简为
$$若R({\alpha }_i|x)=\underset{j=1,\dots ,k}{\min }R({\alpha }_j|x),则\alpha ={\alpha }_i(2-24)$$
计算步骤：

1. 利用贝叶斯公式计算后验概率
   $$P({\omega }_j|x)=\frac{p(x|{\omega }_j)P({\omega }_j)}{\sum _{i=1}^{c}p(x|{\omega }_i)P({\omega }_i)}，j=1,\dots ,c(2-25)$$
2. 利用决策表，计算条件风险
   $$R({\alpha }_i|x)=\sum _{j=1}^c\lambda ({\alpha }_i|{\omega }_j)P({\omega }_j|x),i=1,\dots ,k(2-26)$$
3. 决策：
   $$\alpha =\underset{i=1,\dots ,k}{\mathrm{argmin}}R({\alpha }_i|x)(2-27)$$
   特别的
   在二分类且没有拒绝的情况下，最小风险贝叶斯决策为：
   $$若{\lambda }_{11}P({\omega }_1|x)+{\lambda }_{12}P({\omega }_2|x)\lessgtr {\lambda }_{21}P({\omega }_1|x)+{\lambda }_{22}P({\omega }_2|x)，则x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}(2-28)$$
   等价形式：

• $$若({\lambda }_{11}-{\lambda }_{21})P({\omega }_1|x)\lessgtr ({\lambda }_{22}-{\lambda }_{12})P({\omega }_2|x)，则x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}(2-29)$$
• $$若\frac{P({\omega }_1|x)}{P({\omega }_2|x)}=\frac{p(x|{\omega }_1)P({\omega }_1)}{p(x|{\omega }_2)P({\omega }_2)}\gtrless \frac{{\lambda }_{22}-{\lambda }_{12}}{{\lambda }_{11}-{\lambda }_{21}}=\frac{{\lambda }_{12}-{\lambda }_{22}}{{\lambda }_{21}-{\lambda }_{11}}，则x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}(2-30)$$
• $$若l(x)=\frac{p(x|{\omega }_1)}{p(x|{\omega }_2)}\gtrless \frac{P({\omega }_2)}{P({\omega }_1)}\bullet \frac{{\lambda }_{12}-{\lambda }_{22}}{{\lambda }_{21}-{\lambda }_{11}}，则x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}(2-31)$$

参考
张学工. 模式识别. 第三版. 北京：清华大学出版社，2010
张学工，汪小我. 模式识别与机器学习. 第四版. 北京：清华大学出版社，2021
部分图片来源于网络