多元统计分析--判别（距离判别、Fisher判别、Bayes判别）

摘要

与聚类不同的是，判别分析中，已知样本分类的前提（历史分组信息），利用历史数据，将给定的新样品按照某种准则判给某类。在机器学习中，可以理解为有监督学习。

目标

寻找一种“分类规则”即判别函数，来描述或区别多个群体的差异。

样品到总体的马氏距离

设有一总体G，其均值为$\mu$， 其协方差为$\Sigma =({\delta }_{ij}{)}_{p\times p}$,样品$x=(x_1,x_2,..,x_p{)}^T$与G的马氏距离定义为
$$d^2(x,G)=(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$$

距离判别法

基本思想

新样品和哪个总体距离（通常使用马氏距离）近，就判给哪个总体。

假设有两个总体$G_1、G_2,均值为{\mu }_1、{\mu }_2$,新样品为$x=(x_1,x_2,..,x_p{)}^T$
$$\{\begin{array}{ll}x\in G_1& ,ifd(x,{\mu }_1)<d(x,{\mu }_2)\\ x\in G_2& ,ifd(x,{\mu }_1)\ge d(x,{\mu }_2)\end{array}$$

1. 假设两个总体的协方差矩阵不同，分别为${\Sigma }_1、{\Sigma }_2$
   根据基本思想，我们来比较新样品距离那个总体更近
   $$\begin{gathered} d^2(x,{\mu }_2)-d^2(x,{\mu }_1) \\ =(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2)-(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1) \end{gathered}$$
   $$W(x)=(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2)-(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)$$
2. 假设两个总体具有相同的协方差矩阵
   $$d^2(x,{\mu }_2)-d^2(x,{\mu }_1)$$