机器学习 线性判别分析（linear discriminant analysis）

最新推荐文章于 2024-07-12 19:58:54 发布
最新推荐文章于 2024-07-12 19:58:54 发布
阅读量1.4k 收藏 11
点赞数 2
分类专栏： 学习记录 文章标签： 机器学习 LDA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013708703/article/details/81103411
版权
线性判别分析（LDA）是一种用于分类数据降维的方法，旨在保持类内距离小且类间距离大。模型通过最大化类间方差与最小化类内方差来确定降维后的超平面。在代码实现中，LDA能有效地将高维数据映射到低维空间，使得数据分类更加明显。
摘要由CSDN通过智能技术生成

一、基本原理

1. 模型形式

LDA模型主要用于分类数据的降维，往往每个样本会有很多属性以及一个所属类别，假设有d个属性，那么样本空间就是d维的，通过LDA模型可以将d维数据投影到某个超平面，从而降低维度。这个超平面也不是随便选择的，它需要同一类的样本投影到超平面后距离尽量小，同时，不同类的样本投影到超平面后距离又要尽量大。说白了就是映射到超平面后，相当于聚了个类，同一类的尽量待在一块，不同类尽量隔开。

假设数据集D=\left \{ (x_1,y_1),(x_2,y_2),...,(x_m,y_m) \right \}，对于每个样本x_i有n个属性，那么降维后的样本如下所示

                                                                                 ​​​​​​​​​​​​​​​​​​​​​Z=W^TX

其中Z=\begin{bmatrix} z_{11} &z_{12} &... &z_{1m} \\ z_{21} &z_{22} &... &z_{2m} \\ ... &... &... &... \\ z_{d1} &z_{d2} &... &z_{dm} \end{bmatrix}，X=\begin{bmatrix} x_{11} &x_{12} &... &x_{1m} \\ x_{21} &x_{22} &... &x_{2m} \\ ... &... &... &... \\ x_{n1} &x_{n2} &... &x_{nm} \end{bmatrix}，

最低0.47元/天 解锁文章
踏雪无痕js
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【人工智能】机器学习：线性判别分析(Linear Discriminant Analysis, LDA)
程序员光剑
05-05 8802
又称判别分析，是一种线性分类方法。的思想是，给定训练样本集，将所有样本投影到空间中的一个超平面上，使得相同类别的样本的投影点尽可能接近，不同类别的样本的投影点尽可能远离。在对一个新的样本进行分类时，先将其投影到该超平面上，再根据投影点的位置(以及预先设置的阈值)确定该样本的类别。也可以看作是一种监督的线性降维方法。
【随学随想】线性判别分析（Linear Discriminant Analysis）判别鸢尾花种类
qq_44104279的博客
02-29 1689
理论介绍 LDA思想 线性判别分析（LDA）是一种经典的二分类模型，其主要应用于二分类问题以及降维，由于他最早由R.A.Fisher提出（也就是大名鼎鼎的Iris数据集的收集者），所以又称为Fisher判别 LDA的思想非常简单，就是将训练集往某一方向的平面（1维者线，2维者面也）投影（降维），并且使同类的样本点尽可能的近，异类的样本点尽可能的远（有点聚类的意思，也可以类比成高内聚，低耦合），当对...
线性判别分析（Linear Discriminant Analysis, LDA） 算法分析与代码
suy的博客
11-03 1936
1． 算法描述 LDA是一种特征降维算法，目前的工作在使用SVM分类的时候，遇到特征维数过大而导致过拟合的问题，所以希望通过LDA算法降低特征维度，解决过拟合的问题。LDA算法的目的是使得样本在投影后的子空间中保持最大的类间距离和最小的类内距离。 2． 公式推导 首先计算类内样本均值和类间样本均值： 然后得到类间离散度矩阵和类内离散度矩阵： 通过fisher线性
LDA线性判别分析
庐州月光的博客
04-09 556
欢迎关注”生信修炼手册”!线性判别分析，全称是Linear Discriminant Analysis, 简称LDA, 是一种属于监督学习的降维算法。与PCA这种无监督的降维算法不同，LD...
【机器学习】线性判别分析（LDA）：从理论到实践
最新发布
鑫宝的博客
07-12 2280
线性判别分析（Linear Discriminant Analysis, LDA）是一种广泛应用于模式识别和机器学习领域的经典统计技术，主要用于特征提取和分类。与主成分分析（PCA）等降维方法不同，LDA侧重于最大化类间差异，同时最小化类内差异，使其在监督学习场景下尤为有效。本文将深入探讨LDA的理论基础、算法流程、以及在现实世界中的应用案例。
机器学习算法系列（十一）-线性判别分析算法（二）（Linear Discriminant Analysis Algorithm）
Saisimon`s blog
01-18 1701
机器学习算法系列（十一）-线性判别分析算法（二）（Linear Discriminant Analysis Algorithm）
机器学习之线性判别分析（LDA）
时光、疏离了记忆づ童话的博客
10-23 1912
前言：在主成分分析（PCA）原理总结（机器学习(27)【降维】之主成分分析(PCA)详解）中对降维算法PCA做了总结。这里就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。在学习LDA之前，有必要将其自然语言...
机器学习实战-64:线性判别分析降维算法(Linear Discriminant Analysis)
智能多媒体
10-03 3318
线性判别分析(Linear Discriminant Analysis-LDA)是一种监督学习的降维技术, 即他要求训练数据是有标签信息的数据集。主成因分析(Principal Component Analysis-PCA)是一种无监督学习的降维技术。线性判别分析(Linear Discriminant Analysis-LDA)的核心思想是：投影后类内方差最小，类间方差最大。LDA要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。
线性判别分析（Linear Discriminant Analysis）
水滴石穿
08-01 1476
概念线性判别分析（Linear Discriminant Analysis）是一种根据分类特征有监督方法的降维算法。LDA是将高维数据投影到低维数据，同时保证不同类尽量的分得开，即：类内距离尽量的近，类间距离尽量的远。二分类数据做LDA对于DD维的样本x={x(1),x(2),...,x(N)}x=\left\{ x^{(1)},x^{(2)},...,x^{(N)}\right\} 设ww是投影
线性判别式分析(Linear Discriminant Analysis, LDA)MATLAB实现
11-05
线性判别式分析（Linear Discriminant Analysis, LDA）是一种经典的统计方法，常用于特征降维和分类问题。在机器学习领域，LDA通过最大化类间距离与类内距离的比值，来寻找能够最好区分不同类别的新特征空间。MATLAB...
linear-discriminant-analysis-python:在python中进行线性判别分析
05-02
线性判别分析（Linear Discriminant Analysis，LDA）是一种统计方法，主要用于高维数据集的降维，同时保持类间距离的最大化和类内距离的最小化。它最初由Ronald Fisher提出，用于生物分类问题，现在广泛应用于机器...
为什么lda = LinearDiscriminantAnalysis(n_components=1)中n_components大于1就报错
weixin_35752122的博客
01-06 281
在使用LDA(Linear Discriminant Analysis, 线性判别分析)时，n_components参数指定了降维后的维度数。当n_components设置为1时，LDA将原始数据降维至1维。但是当n_components大于1时，LDA将原始数据降维至多维，这与LDA的定义相矛盾。LDA的目的是通过线性投影将数据映射到一条直线上，使得同类数据尽量接近，异类数据尽量远离。因此，LD...
LDA线性判别分析Python
qq_44386182的博客
09-20 342
线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的监督学习的数据降维方法，也叫做Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法 ，它是在1996年由Belhumeur引入模式识别和人工智能领域的。LDA的主要思想是将一个高维空间中的数据投影到一个较低维的空间中，且投影后要保证各个类别的类内方差小而类间均值差别大，这意味着同一类的高维数据投影到低维空间后相同类别的聚在一起，而不同类别之间相距较远。
线性判别分析 Linear Discriminant Analysis | LDA
JasonH2021的博客
06-03 7526
本文主要简单介绍了线性判别分析的基本概念，优缺点，应用场景，建模时的注意事项，评价指标，实现方法，python示例和模型参数等。
机器学习（三）——Linear Discriminant Analysis
南木的博客
12-19 1889
二分类情况： 1． 加载实验数据 2. 绘制出数据散点图 3. 求类内散度矩阵 4. 求类间散度矩阵 5. 求最大特征值和特征向量 6. 计算投影点 7. 绘制完整图像 多分类情况： 多分类线性判别分析（LDA）中，除了参数有所变化之外，只对求最大特征值及特征向量的部分做了些许改动，类间散度矩阵和类内散度矩阵都由(psb1+qsb2)/(p+q)变成了(psb1+qsb2+r*sb3...
【温故而知新】线性判别分析(Linear Discriminant Analysis)
CVer
02-04 843
线性判别分析(Linear Discriminant Analysis, LDA)是一种经典的线性分类方法。 LDA的基本思想：给定训练数据集，设法将样本投影到一条直线上，使得同类样本的投影点尽可能的接近，不同类样本的投影点尽可能远离；在对新来样本进行分类时，首先将其投影到直线上，再根据投影点的位置来判断样本所属的类别。即：类内小，类间大("高内聚，松耦合") 给定数据集,在这里我们将记为...
线性判别分析(Linear Discriminant Analysis, LDA）算法分析
wangzhebupt的专栏
08-10 1258
表示看了h 转自  http://blog.csdn.net/warmyellow/article/details/5454943
线性判别分析（Linear Discriminant Analysis ,简称LDA）
Jack旭的博客
08-30 1357
线性判别分析（Linear Discriminant Analysis ,简称LDA）是一种经典的线性学习方法，在二分类问题上最早由【Fisher，1936】提出，也称为“Fisher 判别分析” LDA的思想：给定训练样本例集，设法将例投影在一条直线上，使得同类例的投影点近可能近，异类样例尽可能地远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。如下图所
LinearDiscriminantAnalysis的用法介绍
05-31
LinearDiscriminantAnalysis（线性判别分析）是一种经典的分类算法，用于将具有多个特征的数据点分配到两个或多个预定义的类别中。在 Scikit-learn 库中，LinearDiscriminantAnalysis 类可以用于实现这种分类算法。下面是 LinearDiscriminantAnalysis 类的用法介绍： 1. 引入 LinearDiscriminantAnalysis 类 ```python from sklearn.discriminant_analysis import LinearDiscriminantAnalysis ``` 2. 创建 LinearDiscriminantAnalysis 实例 ```python flda = LinearDiscriminantAnalysis(n_components=2) ``` 这将创建一个 LinearDiscriminantAnalysis 的实例，其中 n_components 参数指定要提取的特征数量（默认为 None，表示保留所有特征）。 3. 使用 fit 方法拟合模型 ```python flda.fit(X, y) ``` 这将使用 X 和 y 训练数据来拟合 LinearDiscriminantAnalysis 模型，其中 X 是训练数据的特征向量，y 是训练数据的标签。 4. 使用 transform 方法转换数据 ```python X_flda = flda.transform(X) ``` 这将使用 LinearDiscriminantAnalysis 模型将原始特征向量 X 转换为 FDLA 特征向量 X_flda。 5. 使用 predict 方法进行预测 ```python y_pred = flda.predict(X_test) ``` 这将使用 LinearDiscriminantAnalysis 模型对测试数据 X_test 进行预测，并返回预测的标签 y_pred。 6. 使用 score 方法计算模型得分 ```python score = flda.score(X_test, y_test) ``` 这将使用 LinearDiscriminantAnalysis 模型对测试数据 X_test 进行预测，并与实际标签 y_test 进行比较，返回模型的准确率得分。 总之，LinearDiscriminantAnalysis 类提供了一种简单而有效的方法来进行分类和特征提取。它可以轻松地与其他 Scikit-learn 函数和工具集成，使得数据分析和机器学习变得更加简单和高效。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值