史上最好的LDA(线性判别分析)教程

一、前言

最近由于研究需要,要用到线性判别分析(LDA)。于是找了很多资料来看,结果发现大部分讲的都是理论知识,因此最后还是看的一知半解,后来终于找到了个英文的文档,作者由PCA引入LDA,看过后豁然开朗,主要是文档中有详细的例子,为了保持原版在此就直接粘贴过来了——后面的例子是结合MATLAB实现的!

二、LDA理论详解

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

三、LDA实例详解

下面是作者文档中配的一个具体例子,其中的代码是MATLAB代码。

17
18
19
20
21
22
23
24
25
26
27

四、相关的中文LDA资料

除了上面英文版的LDA外,我感觉以下关于LDA的中文文章讲的也是挺不错的:

1、线性判别分析(Linear Discriminant Analysis)(一)

2、线性判别分析(Linear Discriminant Analysis, LDA)算法分析

3、LDA 线性判别分析

4、机器学习中的数学(4)-线性判别分析(LDA), 主成分分析(PCA)

说明:题目中的“史上最好”当然是一种夸大的说法,主要是想说明在众多的LDA资料中,这个算是一篇比较好文档。勿喷!!

  • 37
    点赞
  • 192
    收藏
    觉得还不错? 一键收藏
  • 19
    评论
当然,我可以为您提供一个LDA线性判别分析)的例题。假设我们有一组二维数据,其中包含两个类别。我们的目标是通过LDA找到一个投影方向,将数据映射到一维空间上,使得不同类别之间的距离最大化,同一类别内部的样本距离最小化。 假设我们有以下两个类别的样本数据: 类别1:(1, 2), (2, 3), (3, 3) 类别2:(2, 1), (3, 2), (4, 1) 首先,我们需要计算每个类别的均值向量。对于类别1,均值向量为: μ1 = ( (1+2+3)/3, (2+3+3)/3 ) = (2, 2.67) 对于类别2,均值向量为: μ2 = ( (2+3+4)/3, (1+2+1)/3 ) = (3, 1.33) 然后,我们计算类内散度矩阵Sw。类内散度矩阵的计算方式是每个类别内部样本与其均值向量之间的差异的协方差矩阵的和。 对于类别1,计算协方差矩阵为: S1 = ((1-2)^2 + (2-2.67)^2 + (3-2.67)^2)/3 = 0.89 对于类别2,计算协方差矩阵为: S2 = ((2-3)^2 + (3-1.***均值向量之间差异的协方差矩阵。 Sb = ((2-3)^2 + (2.67-1.33)^2)/2 = 1.56 接下来,我们需要计算投影方向的向量w。我们需要最大化类间散度矩阵Sb,并最小化类内散度矩阵Sw。 通过计算特征值和特征向量,我们可以得到投影方向的向量w。在这个例子中,由于是二维数据,投影方向是一维的。 假设w = (w1, w2)是投影方向的向量,其中w1是x轴方向的分量,w2是y轴方向的分量。 由于投影方向是一维的,所以我们可以假设w2 = 0,那么我们只需要找到w1即可。 通过计算Sw^-1 * Sb的特征值和特征向量,我们可以得到w1。 最后,我们可以将数据样本在投影方向上进行投影,并根据投影的结果来进行分类。 这就是一个简单的LDA线性判别分析的例题。希望可以帮助到您!
评论 19
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值