【统计分析数学模型】判别分析（一）：距离判别法

最新推荐文章于 2024-06-02 07:45:00 发布
最新推荐文章于 2024-06-02 07:45:00 发布
阅读量1.7k 收藏 42
点赞数 37
分类专栏： 生物数学模型 文章标签： 数学建模 r语言 判别分析 距离判别法 算法 概率论 多元统计分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43645790/article/details/136240871
版权

在这里插入图片描述

【统计分析数学模型】判别分析（一）：距离判别法

一、判别分析

1. 概述

判别分析(discriminant analysis) 是研究样品所属类别的一种统计分析方法。

判别分析与聚类分析都是研究分类问题，不同的是，在聚类分析中，所有样品事先都不知道属于哪一类，也不知道一共有多少类；而在判别分析中，用于建立判别准则的样品的分类是已知的，判别的目的是根据建立的分类准则判断新的样品的分类。

在机器学习中，聚类分析属于无监督学习(unsupervised learning)，判别分析属于有监督学习(supervised learning)。

2. 判别分析的目标

在医学研究和临床实践中，经常需要根据观察资料对所研究的对象进行判别归类。判别分析的目标有两类：

  1. 目标1（预测方面）：分类（或分配）
    在已知历史上用某些方法已把研究对象分成若干组（亦称类或总体）的情况下，来判定新的观测样品应归属的组别。
  2. 目标2（描述方面）：分离
    就是用图形（通常二维，有时三维或一维，一般通过降维实现）方法或代数方法描述来自各组的样品之间的差异性，最大限度地分离各组。

例如：
判别分类的例子：非溃疡胃病组（胃功能紊乱者）与控制组（“正常”者）.
测量变量：焦虑、依赖性、罪恶感、完美主义的量度

3. 分类

根据建立的判别准则的不同，判别分析可分为：

  • 距离判别
  • Fisher判别
  • Bayes判别
  • 机器学习的各种分类算法
  • ……

其中，距离判别和Bayes判别只能用于分类。Fisher判别即可用于分类，也可用于分离，且更多地用于后者。
这些都是基于判别变量为定量变量的。

4. 步骤

  1. 收集训练样本数据(training dataset)和测试样本数据(testing dataset)：收集一批分类明确的训练样品和测试样品，根据专业知识测量每个样品的分类指标。
  2. 建立判别准则：根据专业问题的特点和资料的性质选择判别方法，使用训练样本建立判别函数。
  3. 考核判别效果：用回代法和前瞻法考核所建立函数的判别效果。

回代法又叫内部验证，它是将训练样本中每个样品的各项指标回代入所建立的判别函数中得到判定类别，并将此分类与原类别进行比较，计算判断正确率（符合率）。

前瞻法也叫外部验证，它是将所建立的判别准则用于测试样本集，得到测试样本的分类，并与测试样本的原始分类作比较计算正确率。

只有当回判正确率和前瞻正确率都比较高时，才可以认为所建立的判别准则是合适的。前者衡量的是判别模型的拟合优度，后者衡量的是判别模型的预测准确度。

二、距离判别法

距离判别法的原理简单而朴素，即根据样品到各类中心点（均值向量）的距离，按距离最近准则进行判别归类。

因为马氏距离不受指标的量纲和指标之间多重相关性的影响，所以在距离判别中最为常用。

三、R语言实现距离判别法

以mclust包里的数据集thyroid为例说明距离判别法的原理和应用。

1. 加载数据集

将其中的分类变量Diagnosis的3个水平重新按照在数据集里出现的顺序排序。

data(thyroid,package="mclust")
thyroid$Diagnosis<-factor(thyroid$Diagnosis, levels=c("Normal","Hyper","Hypo"))

2. 计算相关系数矩阵

通过相关系数矩阵探索5项检测指标之间的相关性：

cor(thyroid[,2:6])

运行结果如下：

> cor(thyroid[,2:6])
           RT3U         T4         T3        TSH       DTSH
RT3U  1.0000000 -0.4941624 -0.5369712  0.2903679  0.2963267
T4   -0.4941624  1.0000000  0.7186816 -0.4228445 -0.4099646
T3   -0.5369712  0.7186816  1.0000000 -0.2416412 -0.2273919
TSH   0.2903679 -0.4228445 -0.2416412  1.0000000  0.4975449
DTSH  0.2963267 -0.4099646 -0.2273919  0.4975449  1.0000000

5项检测指标之间存在较强的相关关系。
因此，需要用马氏距离计算各对象之间的距离。

3. 计算中心点

分别计算3组患者的5项检测指标的均值，作为各个类别的中心点：

m.Normal<-colMeans(thyroid[1:150,2:6])
m.Normal

m.Hyper<-colMeans(thyroid[151:185,2:6])
m.Hyper

m.Hypo<-colMeans(thyroid[186:215,2:6])
m.Hypo

运行结果如下：

> m.Normal
      RT3U         T4         T3        TSH       DTSH 
110.513333   9.192667   1.731333   1.316667   2.516667 

> m.Hyper
      RT3U         T4         T3        TSH       DTSH 
95.2857143 17.7457143  4.2628571  0.9742857 -0.0200000 

> m.Hypo
      RT3U         T4         T3        TSH       DTSH 
121.700000   3.600000   1.063333  12.920000  17.533333

4. Box M检验

biotools包里的 boxM() 函数可以实现 Box M检验：

Box M检验要求变量服从多元正态分布，其零假设是各协方差矩阵相等。如果该检验结果不显著，则认为各类总体的协方差矩阵相同，此时可以用所有对象计算的协方差矩阵作为总体协方差矩阵的估计值。

library(biotools)
boxM(thyroid[,-1],thyroid[,1])

运行结果如下：

> boxM(thyroid[,-1],thyroid[,1])

	Box's M-test for Homogeneity of Covariance Matrices

data:  thyroid[, -1]
Chi-Sq (approx.) = 1512.6, df = 30, p-value < 2.2e-16

检验结果表明，3组患者的5项检测指标协方差矩阵之间的差异有统计学意义(P <0.001)。因此，分别计算3组的协方差矩阵。

5. 计算协方差矩阵

v.Normal<-cov(thyroid[1:150,2:6])
v.Normal

v.Hyper<-cov(thyroid[151:185,2:6])
v.Hyper

v.Hypo<-cov(thyroid[186:215,2:6])
v.Hypo

结果如下：

> v.Normal
           RT3U           T4          T3          TSH        DTSH
RT3U 65.6072036  4.843387025 1.138841163 -0.186465324  3.06252796
T4    4.8433870  4.198804922 0.252781655 -0.009340045 -0.62256152
T3    1.1388412  0.252781655 0.225924385  0.002158837  0.06262864
TSH  -0.1864653 -0.009340045 0.002158837  0.247572707  0.08227069
DTSH  3.0625280 -0.622561521 0.062628635  0.082270694  3.90247204

> v.Hyper
            RT3U            T4           T3         TSH          DTSH
RT3U 352.0336134 -2.157815e+01 -22.72731092 -0.79537815  1.4205882353
T4   -21.5781513  1.731314e+01   4.21174790  0.32709244  0.0009411765
T3   -22.7273109  4.211748e+00   5.08122689  0.07401681 -0.0284117647
TSH   -0.7953782  3.270924e-01   0.07401681  0.16020168 -0.0252352941
DTSH   1.4205882  9.411765e-04  -0.02841176 -0.02523529  0.0728235294 

> v.Hypo
           RT3U          T4         T3        TSH       DTSH
RT3U 122.286207  -7.0137931 -1.0596552  23.006207 -17.262069
T4    -7.013793   3.0848276  0.5755172 -12.250000   9.207241
T3    -1.059655   0.5755172  0.3086092  -2.823034   2.593333
TSH   23.006207 -12.2500000 -2.8230345 153.447862  19.091034
DTSH -17.262069   9.2072414  2.5933333  19.091034 240.445057

6. 计算马氏距离

用函数mahalanobis()计算每个对象与3组患者中心点的距离。例如，计算第1个对象与3组患者中心点的马氏距离：

mahalanobis(thyroid[1,2:6],m.Normal,v.Normal)
mahalanobis(thyroid[1,2:6],m.Hyper,v.Hyper)
mahalanobis(thyroid[1,2:6],m.Hypo,v.Hypo)

运行结果：

> mahalanobis(thyroid[1,2:6],m.Normal,v.Normal)
       1 
2.601487 
> 
> mahalanobis(thyroid[1,2:6],m.Hyper,v.Hyper)
       1 
122.2996 
> 
> mahalanobis(thyroid[1,2:6],m.Hypo,v.Hypo)
       1 
25.30864

结果表明，第1个对象与甲状腺正常组的中心点距离最近，因此将其判为“Normal”。类似地，我们可以用这种方法对其余所有对象做出判断。

计算所有对象与3个中心点的距离：

d.Normal<-mahalanobis(thyroid[,2:6],m.Normal,v.Normal)
d.Hyper<-mahalanobis(thyroid[,2:6],m.Hyper,v.Hyper)
d.Hypo<-mahalanobis(thyroid[,2:6],m.Hypo,v.Hypo)
d<-data.frame(d.Normal,d.Hyper,d.Hypo)
head(d)

> head(d)
   d.Normal    d.Hyper    d.Hypo
1  2.601487 122.299578 25.308641
2 12.722546 599.864349 30.202970
3  7.619211  10.949499 60.943138
4  4.747232  54.121522  4.266343
5  3.300288   9.766824 10.065090
6  8.572603 826.207585  7.183526

将3个向量放入一个数据框中，找出数据框d的每一行中哪一个最小：

index<-apply(d,MARGIN=1,FUN=which.min)
index
type<-factor(index,labels=c("Normal","Hyper","Hypo"))
type

> index
  [1] 1 1 1 3 1 3 1 1 1 1 3 1 1 3 1 1 1 1 1 1 1 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 [38] 1 1 1 1 1 1 1 1 1 1 1 2 3 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 [75] 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 3 1 1 1 1 1 1 1 1 1 1 1 3 1 1 1 1 1 1 1
[112] 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 1 1 1 1 1 1 1 1 3 1 1 1 1 1 1 1
[149] 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
[186] 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

> type
  [1] Normal Normal Normal Hypo   Normal Hypo   Normal Normal Normal Normal
 [11] Hypo   Normal Normal Hypo   Normal Normal Normal Normal Normal Normal
 [21] Normal Hyper  Hyper  Normal Normal Normal Normal Normal Normal Normal
 [31] Normal Normal Normal Normal Normal Normal Normal Normal Normal Normal
 [41] Normal Normal Normal Normal Normal Normal Normal Normal Hyper  Hypo  
 [51] Hyper  Normal Normal Normal Normal Normal Normal Normal Normal Normal
 [61] Normal Normal Normal Normal Normal Normal Normal Normal Normal Normal
 [71] Normal Normal Normal Normal Normal Normal Normal Normal Normal Normal
 [81] Normal Normal Normal Normal Normal Normal Normal Normal Normal Normal
 [91] Normal Hypo   Normal Normal Normal Normal Normal Normal Normal Normal
[101] Normal Normal Normal Hypo   Normal Normal Normal Normal Normal Normal
[111] Normal Normal Normal Normal Normal Normal Normal Normal Normal Normal
[121] Normal Normal Normal Normal Normal Normal Normal Normal Normal Normal
[131] Normal Hyper  Normal Normal Normal Normal Normal Normal Normal Normal
[141] Hypo   Normal Normal Normal Normal Normal Normal Normal Normal Normal
[151] Hyper  Hyper  Hyper  Hyper  Hyper  Hyper  Hyper  Hyper  Hyper  Hyper 
[161] Hyper  Hyper  Hyper  Hyper  Hyper  Hyper  Hyper  Hyper  Hyper  Hyper 
[171] Hyper  Hyper  Hyper  Hyper  Hyper  Hyper  Hyper  Hyper  Hyper  Hyper 
[181] Hyper  Hyper  Hyper  Hyper  Hyper  Hypo   Hypo   Hypo   Hypo   Hypo  
[191] Hypo   Hypo   Hypo   Hypo   Hypo   Hypo   Hypo   Hypo   Hypo   Hypo  
[201] Hypo   Hypo   Hypo   Hypo   Hypo   Hypo   Hypo   Hypo   Hypo   Hypo  
[211] Hypo   Hypo   Hypo   Hypo   Hypo  
Levels: Normal Hyper Hypo

7. 混淆矩阵

借助判定类别与真实类别构成的列联表查看判别效果，即构建分类结果的混淆矩阵：

confusion.matrix<-table(type,thyroid$Diagnosis)
confusion.matrix

结果如下：

> confusion.matrix
        
type     Normal Hyper Hypo
  Normal    137     0    0
  Hyper       5    35    0
  Hypo        8     0   30

结果表明，有5个Normal被错判为Hyper，8个Normal被错判为Hypo。

被错判的对象所处的行号：

which(type=="Hyper"&thyroid$Diagnosis=="Normal")
which(type=="Hypo"&thyroid$Diagnosis=="Normal")

8. 判断正确率

混淆矩阵对角线上的数字代表判断正确的数目，判断正确的总数为（202）：

sum(diag(confusion.matrix))

因此，本示例回代法的判断正确率为202/215 ≈ 94%。

姚巨龙
关注
  • 37
    点赞
  • 踩
  • 42
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
判别分析（距离判别 贝叶斯判别）
08-12
在判别分析中，至少有一个已经明确知道类别的“训练样本”，利用这个数据，就可以建立判别准则，并通过预测变量来为未知类别的观测值进行判别了。 所谓Fisher判别法，就是一种先投影的方法。 考虑只有两个（预测）变量的判别分析问题。 假定这里只有两类。数据中的每个观测值是二维空间的一个点。见图（下一张幻灯片）。 这里只有两种已知类型的训练样本。其中一类有38个点（用“o”表示），另一类有44个点（用“*”表示）。按照原来的变量（横坐标和纵坐标），很难将这两种点分开。 于是就寻找一个方向，也就是图上的虚线方向，沿着这个方向朝和这个虚线垂直的一条直线进行投影会使得这两类分得最清楚。可以看出，如果向其他方向投影，判别效果不会比这个好。 有了投影之后，再用前面讲到的距离远近的方法来得到判别准则。这种首先进行投影的判别方法就是Fisher判别法。
MBoxtest:通过 Box 的 M 对协方差矩阵的同质性进行多变量统计检验。-matlab开发
06-01
从总的多元数据矩阵和显着性水平来看，同质性协方差矩阵通过 Box 的 M 进行测试，给定卡方或 F 近似值作为组样本大小的函数。
距离判别分析（Distance Discriminant Analysis，DDA）
最新发布
weixin_43156294的博客
06-02 654
距离判别分析（Distance Discriminant Analysis，DDA）是一种统计方法，用于分类问题，特别是在监督学习中。它通过计算新样本与每个类别的中心之间的距离，然后基于这些距离来预测新样本的类别。DDA的核心思想是，如果一个样本与某个类别的中心距离更近，那么它更有可能属于这个类别。
判别分析（1）——距离判别法
weixin_60737527的博客
04-23 1万+
判别分析是多元统计分析的内容，其作用在分类确定的条件下，根据某一研究对象的各种特征的值来判断其归属于哪一类（即总体）。实际上，这一类问题就是根据已有的样本数据与对应的类别，判断未知类别的数据属于哪一类。像逻辑回归、支持向量机等从某种意义上来说也属于是判别分析的一种，只不过这些算法需要根据样本对模型进行训练，从而能够利用未知数据的各个指标判断其属于哪一类；而统计学中的判别分析，并没有利用数据进行训练，而是按照一定的判别准则、建立判别函数来判断新的数据属于哪一类。 判别分析有许多的方法。本文讲述的是判别分析比
距离判别法
h335146502的专栏
02-10 1万+
距离判别法：距离判别方是通过计算待测点到各个分类的距离，在根据计算出距离的大小，进行判别该待测点属于那个分类。但是距离的计算是通过马氏距离进行计算的，而不是我们平常几何中用的欧式距离。 欧式距离的定义：        欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。 (1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离：   (2
判别分析 （ distinguish analysis）(一)：距离判别
热门推荐
冷月无声的博客
04-27 1万+
判别分析（distinguish analysis）是根据所研究的个体的观测指标来推断该个体所属 类型的一种统计方法，在自然科学和社会科学的研究中经常会碰到这种统计问题。例如 在地质找矿中我们要根据某异常点的地质结构、化探和物探的各项指标来判断该异常点 属于哪一种矿化类型； 医生要根据某人的各项化验指标的结果来判断该人属于什么病 症； 调查了某地区的土地生产率、劳动生产率...
分类模型与算法--距离判别法
LiSW007的博客
11-22 1万+
距离判别法是最简单、最直观的一种判别方法，该方法适用于连续型随机变量的判别，对变量的概率分布没有限制。 原理：计算待测点与各类的距离，取最短者为其所属分类。值得注意的是，距离的衡量有很多种方式，这里采用的是马氏距离。
数学模型中的判别分析
05-19
总结，判别分析是数学模型中一个重要的统计工具，它为理解和预测类别归属提供了强有力的手段。理解并熟练掌握判别分析的基本原理和应用，对于解决实际问题具有重要意义。在使用时，结合具体的数据特性和问题背景，...
数学建模算法模型——统计分析.zip
10-10
"相关数学模型.doc"可能是对各种数学模型的介绍，包括线性回归、逻辑回归、时间序列分析等，这些都是统计分析中的基础工具，用于建立数据之间的关系模型，并进行预测和解释。 "灰色系统理论及其应用.pdf"涉及的是...
多元统计分析及R语言建模（一）
01-07
若此时因变量还是分类变量，则为方差分析模型和判别分析模型的数据格式。 * 2.对数据的要求：不可有空缺 3.变量的分类 （1）定量变量：计量观测数据，Ex.身高、体重、收入、支处等 （2）定性变量：计数观测数据，Ex....
Fisher算法线性判别分析python实现
04-01
线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的统计方法，常用于多类别的分类问题，尤其在高维数据降维时表现出色。Fisher算法，即Fisher判别分析，由R.A. Fisher提出，是LDA的基础。本教程将...
数据分析距离判别实验报告（5.2）
12-21
数据分析实验十 距离判别 一、实验目的和要求 掌握距离判别分析的理论与方法、模型的建立与误差率估计；掌握利用判别分析的SAS过程解决有关实际问题. 实验要求:编写程序，结果分析． 实验内容：5.2 5.3
距离判别分析法 matlab
05-28
基于matlab 的距离判别分析法代码，协方差矩阵不同的情形下，演绎二次模型
matlab距离判别法
03-06
使用matlab处理数据，实现数学建模中的距离判别法，达到数据处理的目的
数据统计中的判别分析.pptx
04-25
数学模型算法
协方差矩阵的齐性检验（接上一篇文章）
PY_smallH的博客
12-03 7627
关于协方差同质性检验，我也是一知半解，不过多讲解，自己也很懵。 本文讲述对于两分类问题的协方差矩阵检验，和多分类的协方差矩阵的检验 两分类的协方差矩阵齐性检验 Σ1是类别1的协方差，Σ2是类别2的协方差，Σ是两个协方差的联合协方差（即图中的Σ_hat，和S）。 式子中 tr 表示trace，即沿着对角线求和。 p是维数，即数据有几个特征 因为在贝叶斯判别的式子中如果两分类协方差相等，那么用的是他们的联合协方差做计算。 所以这个检验方法是检验Σ1 和联合协方差的差异性，和Σ2与联合协方差的差异性。 如果他们
模糊数学——距离和贴近度
qq_45760401的博客
04-03 3629
先给出距离和贴近度公式： 绝对距离：∑ (|A(u) - B(u)| ^ p ) ^ (1 / p) 相对距离：∑ ((1 / n) * |A(u) - B(u)| ^ p ) ^ (1 / p) 加权距离：∑ (Ω * |A(u) - B(u)| ^ p ) ^ (1 / p) 绝对海明距离：上面的绝对距离中 p = 1 的情况 ∑ |A(u) - B(u)| 相对海明距离：上面的相对距离中 p = 1 的情况 ∑ |(1 / n) * A(u) - B(u)| 加权海明距离：
距离度量：欧氏距离，余弦距离，KL散度，马氏距离（含python代码实现）
rosefun96的博客
07-29 1万+
1. 欧氏距离 绝对距离。 2. 余弦距离 角度。 归一化后的欧式距离和余弦距离关系： 参考： 欧氏距离和余弦相似度的区别是什么？
python数据分析-判别分析
csdn1561168266的博客
02-15 1894
费希尔判别准则也称为LDA判别准则，其基本思想是降维：用p维向量x=（x1，x2，…依据（y1，y2，…，nk个样本，每个样本皆测量p个指标，对新样本x=（x1，x2，…，Gk的距离，记为d（x，G1），d（x，G2），…大家好，判别分析是多元分析中用于判别样本所属类型的一种统计分析方法，即在已知研究对象用某种方法已经分成若干类的情况下，确定新的样本属于哪一类，今天来讲一下判别分析。首先根据已知分类的数据分别计算各类的中心，即各类的均值，若任一新样本的观测值都与第i类的中心距离最近，就认为它属于第i类。
判别分析上课PPT课件.ppt
01-06
判别分析是一种统计分析方法，主要用于确定样本所属类型或进行分类。它的核心目标是利用已知分类的数据建立判别函数，这是一种由数值指标构成的分类规则，可以将这些规则应用于未知分类的样本中。例如，在医学领域，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值