多元统计分析之判别分析

Discriminant Analysis

---

1.引言

分类是我们经常会遇到的任务,分类的目的是把目标对象划分到正确的类别中，或者说给它打上正确的类别标签。

2.例子：血友病携带者的判断

从血液样本中测量下述两项指标:
自身血友病因子对数值:
类抗原对数值:

然后分成2组:

判别分析其实就是寻找到类似图中橙色虚线的这种$rule(规则)$来判断目前包括将来的样本点是属于哪一类的:

---

3.分类:从两总体到多总体

3.1 Classification into One of Two Populations

符号:
(1) ${\Pi }_i,i=1,2$表示两个总体;
(2) ${\mathbf{X}}_{p\times 1}$表示随机变量，它的观测值在不同总体间是有一定程度差异的；
(3)这两个总体由$f_1(\mathbf{X}),f_2(\mathbf{X})$描述;
(4)设样本空间为$\Omega$, 我们想要将样本空间划分成两个不相交的子空间: $\Omega =R_1\bigcup R_2,R_1\bigcap R_2=\varnothing$.
我们认为 如果 ${\mathbf{X}}_0\in R_1$，那么就把它划分到${\Pi }_1$中，否则就划分到${\Pi }_2$中.

现在的关键问题就是: 如何决定/确定 $R_1和R_2$?
其实就是如何找到$\mathbf{X}$具有特定属性的类别.

---

ECM: The expected cost of misclassification
既然要做决定(决定什么样的$\mathbf{X}$是$R_1$中的,什么样的$\mathbf{X}$是$R_2$中的),自然就要确定一个能够判断你所做决定正确程度/代价程度 的准则。

此时期望错分代价(ECM) 就闪亮登场了:
$$ECM=c(2|1)P(2|1)p_1+c(1|2)P(1|2)p_2$$

其中
$P(2|1)=P(\mathbf{X}\in R_2|{\Pi }_1)={\int }_{R_2}{f}_1(\mathbf{X})d\mathbf{X}$
是将实际来自${\Pi }_1$类别中的变量错误的划分到${\Pi }_2$中的概率；

$P(1|2)=P(\mathbf{X}\in R_1|{\Pi }_2)={\int }_{R_1}{f}_2(\mathbf{X})d\mathbf{X}$
是将${\Pi }_2$类别中的变量划分到${\Pi }_1$中的概率；

$p_1$是$\mathbf{X}$属于${\Pi }_1$的先验概率；
$p_2=1-p_1$是$\mathbf{X}$属于${\Pi }_2$的先验概率；

$c(1|2)$是$\mathbf{X}$来自${\Pi }_2$却被错误的划分成${\Pi }_1$的代价；
$c(2|1)$是$\mathbf{X}$来自${\Pi }_1$却被错误的划分成${\Pi }_2$的代价；
显然有$c(1|1)=c(2|2)=0$.

下面对ECM准则进行恒等变形,便于确定$R_1和R_2$:

E C M = c ( 2 ∣ 1 ) p 1 ∫ R 2 f 1 ( X ) d X + c ( 1 ∣ 2 ) p 2 ∫ R 1 f 2 ( X ) d X = c ( 2 ∣ 1 ) p 1 ( 1 − ∫ R 1 f 1 ( X ) d X ) + c ( 1 ∣ 2 ) p 2 ∫ R 1 f 2 ( X ) d X = c ( 2 ∣ 1 ) p 1 + ∫ R 1