【多元统计分析】13.直接判别法

十三、直接判别法

1.马氏距离

判别分析指的是将某个对象归类，即判别某个对象属于哪一类，在实际生活中，判别分析的适用范围十分宽广，它不仅能够用于给某个对象归类，还能够用于预测未来的某一些情况。在多元统计分析中，可以将判别抽象为如下的模型：已知有$k$个$m$维总体$G_1,\cdots ,G_k$以及从每个类中抽取出若干样本，现有一个新的未归类或不知道来源于哪一类的样本$x_0=(x_{01},\cdots ,x_{0m})$，需要将其归到某一个总体。有许多方法可以用来完成判别分析，本篇文章介绍直接判别法。

直接判别法也叫距离判别法，其特点是直观，就是用某种度量来刻画样本与已知总体的“距离”，距离哪个总体最近就把样本归于哪一个类。但是要如何度量这种“距离”呢，最简单的是欧氏距离，即对比这个样本点和各个总体均值的欧氏距离，但这种方法忽略了总体的离散程度，因此，我们使用马(Mahalanobis)氏距离来定义样本与总体之间的距离。

马氏距离：设$G$为$m$元总体，其均值向量为$\mu =({\mu }_1,\cdots ,{\mu }_m{)}^{\prime }$，协方差阵为$\Sigma =({\sigma }_{ij}{)}_{m\times m}$，则样本$X=(x_1,\cdots ,x_m{)}^{\prime }$与总体$G$的马氏距离定义为
$$d^2(X,G)=(X-\mu {)}^{\prime }{\Sigma }^{-1}(X-\mu ).$$
当$m=1$时$d^2(X,G)=(x-\mu {)}^2/{\sigma }^2$，即样本与均值欧氏距离标准化后的平方。

不过，我们往往不知道$G$的总体均值、总体协方差等信息，所以一般会用样本均值、样本自协方差矩阵来替代。

定义了马氏距离后，我们就可以测量样本距离不同总体之间的距离，从而将样本归到距离最近的类上。假设有$k$个类$G_i(i=1,\cdots ,k)$，从$G_i$类中抽取的样本为$X_{(t)}^{(i)}=(x_{t1}^{(i)},\cdots ,x_{tm}^{(i)})(t=1,\cdots ,n_i)$，第$i$类的样本均值为${\bar{X}}^{(i)}$，组内离差阵为$A_i$，组内协方差阵为$S_i=\frac{1}{n_i-1}{A}_i$；如果假设总体协方差阵是相等的，则定义合并样本协方差阵为
$$S=\frac{1}{n-k}\sum _{i=1}^k{A}_i.$$
接下来对几种具体的情况进行讨论。

2.直接判别法的使用

对于两总体的情况，我们一般会先对样本协方差阵进行假设检验$H_0:{\Sigma }_1={\Sigma }_2$，当$H_0$成立和$H_0$不成立时，处理的方式略有不同。

先讨论$H_0$成立，${\Sigma }_1={\Sigma }_2$的情况，此时应当使用合并样本协方差阵替代总体协方差阵，即
$$S=\frac{1}{n-2}(A_1+A_2).$$
计算样本到每一组的马氏距离$d^2(X,G_i)=(X-{\bar{X}}^{(i)}{)}^{\prime }{S}^{-1}(X-{\bar{X}}^{(i)})$。由于协方差阵相等，所以可以对马氏距离的计算公式进行化简：
$$\begin{array}{rl}{d}^2(X,G_i)=& (X-{\bar{X}}^{(i)}{)}^{\prime }{S}^{-1}(X-{\bar{X}}^{(i)})\\ =& X^{\prime }{S}^{-1}X-({\bar{X}}^{(i)}{)}^{\prime }{S}^{-1}X-X^{\prime }{S}^{-1}{\bar{X}}^{(i)}+({\bar{X}}^{(i)}{)}^{\prime }{S}^{-1}{\bar{X}}^{(i)}\\ =& X^{\prime }{S}^{-1}X-2\left[(S^{-1}{\bar{X}}^{(i)}{)}^{\prime }X-\frac{1}{2}({\bar{X}}^{(i)}{)}^{\prime }{S}^{-1}({\bar{X}}^{(i)})\right]\\ =& X^{\prime }{S}^{-1}X-2Y_i(X).\end{array}$$
最终，样本对两组的马氏距离差异将只有$Y_i(X)$，且$Y_i(X)$越大$d_i^2(X)$越小，所以将$Y_i(X)$称为线性判别函数，它是$X$的线性函数，称$a_i=S^{-1}{\bar{X}}^{(i)}$为判别系数向量，$c_i=-\frac{1}{2}({\bar{X}}^{(i)}{)}^{\prime }{S}^{-1}{\bar{X}}^{(i)}$称为常数项，这样就有
$$Y_i(X)=a_i^{\prime }X+c_i.$$
如果$Y_1(X)>Y_2(X)$，则$X$应当被归到$G_1$，否则$X$应当被归到$G_2$，这样，$Y_1(X)=Y_2(X)$就成为分离$G_1,G_2$的一个超面，记$W(X)=Y_1(X)-Y_2(X)$，则
$$\begin{array}{rl}W(X)=& Y_1(X)-Y_2(X)\\ =& [(S^{-1}({\bar{X}}^{(1)}-{\bar{X}}^{(2)}){]}^{\prime }X-\frac{1}{2}({\bar{X}}^{(1)}{)}^{\prime }{S}^{-1}{\bar{X}}^{(1)}+\frac{1}{2}({\bar{X}}^{(2)}{)}^{\prime }{S}^{-1}{\bar{X}}^{(2)}\\ =& X^{\prime }{S}^{-1}({\bar{X}}^{(1)}-{\bar{X}}^{(2)})-\frac{1}{2}({\bar{X}}^{(1)}{)}^{\prime }{S}^{-1}{\bar{X}}^{(1)}+\frac{1}{2}({\bar{X}}^{(1)}{)}^{\prime }{S}^{-1}{\bar{X}}^{(2)}\\ & -\frac{1}{2}({\bar{X}}^{(2)}{)}^{\prime }{S}^{-1}{\bar{X}}^{(1)}+\frac{1}{2}({\bar{X}}^{(2)}{)}^{\prime }{S}^{-1}{\bar{X}}^{(2)}\\ =& {\left(X-\frac{1}{2}({\bar{X}}^{(1)}+{\bar{X}}^{(2)})\right)}^{\prime }{S}^{-1}({\bar{X}}^{(1)}-{\bar{X}}^{(2)})\\ \stackrel{\mathrm{d}}{=}& (X-X^{\ast }{)}^{\prime }{S}^{-1}({\bar{X}}^{(1)}-{\bar{X}}^{(2)}).\end{array}$$
这里$X^{\ast }=\frac{1}{2}({\bar{X}}^{(1)}+{\bar{X}}^{(2)})$，这样，由于$W(X)$关于$X$是一个线性函数，所以超面也是一个超平面，将${\mathbb{R}}^m$划分为两个部分。记$a=S^{-1}({\bar{X}}^{(1)}-{\bar{X}}^{(2)})$为判别系数，$W(X)$也称为线性判别函数，则$W(X)=a^{\prime }(X-X^{\ast })$，当$W(X)>0$时$X$被归到$G_1$，$W(X)\le 0$时$X$被归到$G_2$。

如果${\Sigma }_1\ne {\Sigma }_2$，则以$S_1,S_2$分别替代${\Sigma }_1,{\Sigma }_2$计算马氏距离，以马氏距离短的那个类作为$X$的类，方法和${\Sigma }_1={\Sigma }_2$时的一致。不过，此时的$W(X)=d^2(X,G_1)-d^2(X,G_2)$是一个关于$X$的二次函数，不再是超平面了。

需要注意的是，从判别系数$a=S^{-1}({\bar{X}}^{(1)}-{\bar{X}}^{(2)})$的形式上看，当${\bar{X}}^{(1)}$与${\bar{X}}^{(2)}$相差不大时，距离判别法的效果不会很好。所以，在使用距离判别法时，我们可以先对$H_0:{\mu }^{(1)}={\mu }^{(2)}$作一次假设检验，如果$p$值很小，就可以认为${\mu }^{(1)}$和${\mu }^{(2)}$有显著差异，使用距离判别法。

对于多总体情况，同样是先根据总体之间的自协方差矩阵是否相同做一次假设检验，类似地用样本统计量作为总体参数的估计，计算马氏距离，选择马氏距离最短的那个作为样本的归类。

回顾总结

1. 直接判别法是以样本离哪个类最近作为分类依据的判别方法，这里对距离的衡量是马氏距离，即
   $$d^2(X,G_i)=(X-{\mu }^{(i)}{)}^{\prime }{\Sigma }^{-1}(X-{\mu }^{(i)}).$$
   当总体均值、方差未知时，使用样本均值、样本方差替代。

2. 双总体直接判别法使用前，先检验${\Sigma }_1={\Sigma }_2$是否成立，然后检验${\mu }^{(1)}={\mu }^{(2)}$是否成立，如果${\mu }^{(1)}\ne {\mu }^{(2)}$显著不成立才适合使用直接判别法。对于${\Sigma }_1={\Sigma }_2$的情形，使用合并样本协方差阵替代总体方差，否则使用二者各自的协方差阵替代。最终，将$X$归入马氏距离小的那个总体。

3. 对于${\Sigma }_1={\Sigma }_2$的情况，引入线性判别函数为$Y_i(X)=a_i^{\prime }X+c_i$，这里
   $$a_i=S^{-1}{\bar{X}}_{(i)},c_i=-\frac{1}{2}({\bar{X}}^{(i)}{)}^{\prime }{S}^{-1}{\bar{X}}^{(i)}.$$
   将样本归入$Y_i(X)$大的那个类。也可以用另一种形式的线性判别函数$W(X)=a^{\prime }(X-X^{\ast })$，这里
   $$a=S^{-1}({\bar{X}}^{(1)}-{\bar{X}}^{(2)}),X^{\ast }=\frac{1}{2}({\bar{X}}^{(1)}+{\bar{X}}^{(2)}).$$
   如果$W(X)>0$则归入1类，否则归入2类，这里$W(X)=0$是一个分割两类的超平面。

4. 多总体直接判别法在使用前，也应检测$H_0:{\Sigma }_1={\Sigma }_2=\cdots ={\Sigma }_k$是否成立，如果成立，则使用合并协方差阵替代每个总体的方差。