【多元统计分析】14.贝叶斯判别法

十四、贝叶斯判别法

1.贝叶斯判别的定义

贝叶斯判别的定义，是找到一个错判平均损失最小的判别准则，这句话虽然简单，但还有一些概念需要解析，接下来我们假设有$k$个总体$G_1,\cdots ,G_k$。

首先，错判损失指的是将属于某类的实体错判为其他类，在实际生活中会导致的损失。比如考虑今天会不会下雨的判别，这决定了你出门是否带雨伞，如果今天实际上出太阳，但你判断今天会下雨，这将导致你需要多承受一把雨伞的重量，带来了一定的损失；但如果今天实际上下雨，但你判断今天会出太阳，这将导致你承担被雨淋的痛苦或者等伞的无聊，也带来损失。这两种损失给你造成的体验是否一样？显然下雨错判为晴天的损失更大一些。而在实际的问题中，不同情况的错判损失也很可能不同，因此有必要加以区分。

使用判别法$D$将第$i$类的样本错判为第$j$类，错判损失记作$L(j|i;D)=L(j|i)$，一般错判损失可比较而不可量化，但在应用贝叶斯判别法的情况下必须量化。量化方式可以是经验赋值，对所有错判损失给一个大致的判断；而如果不同类别的错判损失大致相同，则定义$L(j|i)=1-{\delta }_{ij}$。

其次，既然是错判平均损失，就存在一种平均准则。使用算术平均是否合适呢？事实上是不合适的。首先，每种错判的发生可能不一样，假设实体来自$i$类，在观测前使用某判别准则将其判断到$j$类的概率是固定的，即$P(j|i)$，这样，如果实体来自$i$类，则此时的错判损失是
$$r_i(D)=\sum _{j=1}^{k}P(j|i)L(j|i)$$
但也不能够直接将属于每一类的错判损失求算术平均，因为实体来自每一类的概率本身就不同，这称为先验概率。

先验概率代表了出现类别的概率分布，这是在没有任何样本信息时能做出的关于类的直接判断。假设来自第$i$类的先验概率是$q_i$，那么此时的错判平均损失，实际上是一种关于先验概率的加权平均。现在，我们可以定义判别法$D$的错判平均损失为
$$g(D)=\sum _{i=1}^k{q}_i\sum _{j=1}^{k}P(j|i)L(j|i)\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}\sum _{i=1}^k{q}_i{r}_i(D).$$
这样，贝叶斯判别准则就可以被视为这样的最优化问题：找到一个$D^{\ast }$，使得$g(D^{\ast })={\min }_{D}g(D)$。

2.贝叶斯判别的解

如何找到使得错判平均最小的判别准则，就是贝叶斯判别的求解问题。现在，我们假设$k$个$m$维总体$G_1,\cdots ,G_k$的先验概率分别为$q_1,\cdots ,q_k$，每个$G_i$的联合密度函数为$f_i(X)$，错判损失为$L(j|i)$。任何一种判别法$D$，都将样本空间${\mathbb{R}}^m$划分成$k$个（连通与否的）区域 { D 1 , ⋯   , D k } \{D_1,\cdots,D_k\} {D1​,⋯,Dk​}，这里$D_j$表示样本落在被判别到$j$类的区域。

据此，我们可以先给出错判概率为$P(j|i)$，它表示样品$X$本身来自密度函数$f_i(X)$，但落在区域$D_j$内：
$$P(j|i;D)={\int }_{D_j}{f}_i(X)\mathrm{d}X.$$
所以此时的错判平均损失是
$$\begin{array}{rl}g(D)=& \sum _{i=1}^k{q}_i\sum _{j=1}^{k}L(j|i){\int }_{D_j}{f}_i(X)\mathrm{d}X\\ =& \sum _{j=1}^k{\int }_{D_j}\sum _{i=1}^k{q}_{i}L(j|i)f_i(X)\mathrm{d}X\\ \stackrel{\mathrm{d}}{=}& \sum _{j=1}^k{\int }_{D_j}{h}_j(X)\mathrm{d}X.\end{array}$$
这里定义
$$h_j(X)\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}\sum _{i=1}^k{q}_{i}L(j|i)f_i(X),$$
它表示把样品$X$归到$G_j$类的平均损失，注意到$h_j(X)$与$D$无关，对$h_j(X)$求和，就得到了错判平均损失。对于贝叶斯判别的解$D^{\ast }$，要使得$g(D^{\ast })$是所有$D$中最小的，所以
$$\begin{array}{rl}& g(D^{\ast })-g(D)\\ =& \sum _{i=1}^k{\int }_{D_i^{\ast }}{h}_i(X)\mathrm{d}X-\sum _{j=1}^k{\int }_{D_j}{h}_j(X)\mathrm{d}X\\ =& \sum _{i=1}^k\sum _{j=1}^k{\int }_{D_i^{\ast }\cap D_j}[h_i(X)-h_j(X)]\mathrm{d}X\\ \le & 0.\end{array}$$
由此，我们能够得到贝叶斯判别的解是：在所有$h_i(X)$中，如果$h_j(X)$最小，就将$X$判别为第$j$类，在这个判别法的条件下，能够让$g(D^{\ast })-g(D)\le 0$恒成立。

特别当我们指定错判损失都相等的情况下，如果$h_i(X)<h_j(X)$即$h_i(X)-h_j(X)<0$，那么就有$q_j{f}_j(X)<q_i{f}_i(X)$，所以如果在$i,j$类中将$X$判定为$i$类，就应该让$q_i{f}_i(X)$更大，所以错判损失都相等的情况下，贝叶斯判别的解是：在所有$q_i{f}_i(X)$中，如果$q_j{f}_j(X)$最大，就将$X$判别为第$j$类。在此基础上，如果先验概率都相等，则在所有$f_i(X)$中，如果$f_j(X)$最大，就将$X$判别为第$j$类。

3.广义马氏距离

对于正态总体，在错判损失都相等的情况下，
$$\begin{gathered} q_i{f}_i(X)=\frac{q_i}{(2\pi {)}^{m/2}|\Sigma {|}^{1/2}}\exp \left\{-\frac{1}{2}(X-{\mu }^{(i)}{)}^{\prime }{\Sigma }^{-1}(X-{\mu }^{(i)})\right\}, \\ \ln q_i{f}_i(X)=C+\ln q_i-\frac{1}{2}\ln |\Sigma |-\frac{1}{2}(X-{\mu }^{(i)}{)}^{\prime }{\Sigma }^{-1}(X-{\mu }^{(i)}). \end{gathered}$$
因此，我们定义样本$X$到总体$G_i$的广义马氏距离为
$$D_i^2(X)=d_i^2(X)+\ln |S|-2\ln q_i.$$
可以看到，当样本$X$到总体$G_i$的广义马氏距离最小的时候，它会被归类到$G_i$。因此，在每一类都是多元正态总体，且错判损失相等的情况下，用广义马氏距离替代马氏距离，贝叶斯判别的解与直接判别法是一样的。

回顾总结

1. 贝叶斯判别法，是在定义了先验概率$q_i$与错判损失$L(j|i)$的情况下，使平均错判损失最小的判别准则。

2. 在贝叶斯判别的条件下，决定样本$X$应该判别到某一类的，是某一类的平均错判损失，即
   $$h_j(X)=\sum _{i=1}^k{q}_{i}L(j|i)f_i(X).$$
   样本$X$被判别到平均错判损失最小的一类，即$X\in G_j\iff h_j(X)\le h_i(X),\forall i$。

3. 如果$L(j|i)=1-{\delta }_{ij}$，也就是错判的损失为1，正判的损失为0，那么判别函数可以化简为
   $$q_i{f}_i(X).$$
   样本$X$被判别到$q_i{f}_i(X)$最大的一类，即$X\in G_j\iff q_j{f}_j(X)\ge q_i{f}_i(X),\forall i$。

4. 定义广义马氏距离为
   $$D_i^2(X)=d_i^2(X)+\ln |S|-2\ln |q_i|,$$
   对于错判损失为$L(j|i)=1-{\delta }_{ij}$的正态总体判别，基于广义马氏距离的直接判别法就是贝叶斯准则下的最优判别法。