数模分析第五天---判别分析

由往年美赛题分析


需由函数来判别新样本属于哪个总体，由此我们引入判别分析。

距离判别

简单来说就是通过样品到总体的距离来判断属于哪个总体。

欧几里得距离

A到G1的中心欧几里得距离比到G2中心的欧几里得距离近，是否A处的样品属于总体1呢？
而总体G1的样本则非常集中，因此A处的样品属于总体G 2 的概率明显大于属于总体G1的概率，也就是说，A处的样品属于总体G2的“可能性”明显大于属于总体G1的“可能性”。
我们得出：
用欧几里得距离来度量样品到总体的距离具有局限性。

马氏距离

要判断新样本来自哪个总体，则只需计算新样本到两个总体的马氏距离。

进一步简化该判别式，可用以下方法：

通常地, a称为判别系数向量, W 称为线性判别函数。在实际应用中，总体的均值和协方差阵一般是未知的，我们所知道的仅仅是一组样本或者观测值, 在这种情况下，就需要利用数理统计的知识对各项数值进行估计。

距离判别不足

距离判别方法简单实用，容易实现，并且结论的意义明确。但距离判别有以下缺点：
(1) 没有考虑各总体本身出现的可能性；
(2) 错判造成的损失在距离判别中也没有考虑。
为了克服这些不足，下面介绍Bayes 判别。

贝叶斯判别

所谓贝叶斯(Bayes) 判别，就是在考虑各总体的先验概率和错判损失情况下, 给出空间的一个划分使得运用此划分来判别归类时，所带来的平均错判损失最小。

先验概率可定为蠓虫的6/15,9/15，也可设置为一致或是由经验和文献进行估计。
错判损失可由经验和文献进行估计。
记错判损失为：
L(j | i) (i,j=1,2…k)

精确计算误判概率是一个非常困难的问题，实际应用中，一般根据一定的规则来估计误判概率
(1) 利用训练样本为检验集，用判别方法对训练样本进行判断，统计误判的样本个数，计算误判样本占总样本的比例，并作为误判概率的估计值；
(2) 当训练样本足够大时，从训练样本中预留一部分作为检验集, 记录判错比率, 作为误判概率的估计
(3) 运用舍一法：每次预留一个样本来检验，用剩下的样本建立判别准则，循环检验完所有训练样本, 记录判错的比率, 以此作为误判概率的估计值。

确定平均损失

能找到D使得g(D)即平均损失最小，即为贝叶斯判别的解。

解题步骤

在介绍了判别分析方法后，具体解题步骤如下：

检验判别模型

1.回代误判法

n12:属于G1被误判属于G2的样本个数。
n21: 属于G2被误判属于G1的样本个数。
则回代误判率为：

2.交叉验证法
从G1的n1个样本中每次留一个作为验证样本, 其余n1 -1个与G2的n2个一起作为训练样本建立判别准则, 检验验证样本。

总结

距离判别方法思路简单、直观，应用广泛，特别是线性距离判别模型.
距离判别方法的缺点：没有考虑环境中不同总体出现的概率会有差别。没有涉及误判造成的损失.。而Bayes 判别模型弥补了这些缺陷。
模型检验用的回代误判法虽然简单，缺点是建立与检验判别准则使用相同的样本，往往会低估误判率。交叉验证法 虽计算量较大，但克服了回代法的缺点 ，是一种较好的检验方法。