线性判别分析（Linear Discriminant Analysis, LDA） 算法分析与代码

最新推荐文章于 2024-08-30 17:15:14 发布
最新推荐文章于 2024-08-30 17:15:14 发布
阅读量2k 收藏 5
点赞数
分类专栏： 图像处理 文章标签： LDA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012316600/article/details/53022307
版权
线性判别分析（LDA）用于特征降维，旨在最大化类间距离和最小化类内距离，以解决高维特征导致的过拟合问题。通过计算类内和类间样本均值，构建类间离散度矩阵和类内离散度矩阵，并应用Fisher线性鉴别器选择投影矩阵，选择最大特征值对应的特征向量作为降维方向。
摘要由CSDN通过智能技术生成

1． 算法描述
LDA是一种特征降维算法，目前的工作在使用SVM分类的时候，遇到特征维数过大而导致过拟合的问题，所以希望通过LDA算法降低特征维度，解决过拟合的问题。LDA算法的目的是使得样本在投影后的子空间中保持最大的类间距离和最小的类内距离。

2． 公式推导
首先计算类内样本均值和类间样本均值：
这里写图片描述
这里写图片描述
然后得到类间离散度矩阵和类内离散度矩阵：
这里写图片描述
这里写图片描述
通过fisher线性鉴别器分析，选取的投影矩阵为：
这里写图片描述
即：
这里写图片描述
投影矩阵即取列向量为d个最大特征值对应的特征向量的组合。

3． 代码解释

functi
最低0.47元/天 解锁文章
【人工智能】机器学习：线性判别分析(Linear Discriminant Analysis, LDA)
AI天才研究院
05-05 8966
又称判别分析，是一种线性分类方法。的思想是，给定训练样本集，将所有样本投影到空间中的一个超平面上，使得相同类别的样本的投影点尽可能接近，不同类别的样本的投影点尽可能远离。在对一个新的样本进行分类时，先将其投影到该超平面上，再根据投影点的位置(以及预先设置的阈值)确定该样本的类别。也可以看作是一种监督的线性降维方法。
线性判别分析（Linear Discriminant Analysis，LDA) 简单分析
sinat_22510827的博客
10-07 2697
LDA全称Linear Discriminant Analysis，类似PCA，是一种降维方法，但是其目标不同于PCA保留最多的数据点信息，而是尽可能使得不同类别样本间的距离大，同类别的样本间距离小。 首先介绍一下LDA到底是什么？LDA是一种降维的方法，一提到降维，大家应该很熟悉PCA。那么PCA和LDA的区别是什么呢？我们简单的理解可以理解为PCA是获取那些数据能量集中的子空间，用《模式分类》中的例子：手写字母识别中，Q和O利用PCA能够发现两个字母的相似之处，却很可能把区分字母Q和O的那撇特征去掉。
线性判别分析LDA算法代码
03-17
经典监督式学习降维方法线性判别分析LDA算法的MATLAB代码，具有降维性能好的特点，同时可以用于分类，是一种具有代表性的降维算法
线性判别分析matlab代码实现
08-09
使用matlab实现的线性判别分析代码，输入、输出、关键代码注释以及示例都有详细的说明。代码正确性已经得到验证！
机器学习判别分析算法——线性判别分析实操代码详解（2）
qq_45932996的博客
08-30 1250
线性判别系数即线性判元对于特征变量的载荷，也是原理讲解部分提到的权重系数w，其中第一线性判元在V2（存款规模）​、V3（EVA）​、V4（中间业务收入）​、V5（员工人数）上的载荷分别为-0.00070198、-0.00362065、-0.00128565、0.00304935，即运行结果的第一列；一般网点中，V2（存款规模）​、V3（EVA）​、V4（中间业务收入）​、​（V5员工人数）的均值分别为2608.84166667，895.94333333，284.68953333，37.27777778；
「Python」机器学习之线性判别分析（代码，不调包）
cumtLeibnizDavid的博客
08-26 976
线性判别分析(LDA)算法实现，非sklearn
机器学习：线性判别分析（LDA）代码实现
weixin_43846172的博客
10-04 1464
机器学习：线性判别分析（LDA）代码实现 相关知识 代码实现 使用的数据集 周志华老师<机器学习>书上数据集3a（第一列序号，第二列密度，第三列含糖量，第四列是否为好瓜） 通过三种方法：第一种方法调库，二三种手写 #!/usr/bin/env python # coding: utf-8 # In[8]: import numpy as np ''' get t...
线性判别式分析(Linear Discriminant Analysis, LDA)MATLAB实现
11-05
线性判别式分析（Linear Discriminant Analysis, LDA）是一种经典的统计方法，常用于特征降维和分类问题。在机器学习领域，LDA通过最大化类间距离与类内距离的比值，来寻找能够最好区分不同类别的新特征空间。MATLAB...
线性判别分析（Linear Discriminant Analysis， LDA）1
08-03
线性判别分析（LDA）是一种监督学习的降维技术，主要应用于分类问题，尤其在高维数据处理中起到关键作用。与无监督的主成分分析（PCA）不同，LDA利用样本的类别信息来指导降维过程，旨在最大化类别间的方差，同时...
线性判别分析matlab代码及pdf 讲解
03-10
这是线性判别分析的一个matlab code,有具体实例的运行结果，还有关于LDA 算法的详细讲解，通俗易懂，希望对大家有用.
LDA-线性判别分析
12-06
将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性，与PCA区别：LDA考虑分类标签，属于有监督分类。 (Linear discriminant analysis (LDA) is a generalization of Fisher s linear discriminant, a method used in statistics, pattern recognition and machine learning to find a linear combination of features that characterizes or separates two or more classes of objects or events. The resulting combination may be used as a linear classifier, or, more commonly, for dimensionality reduction before later classification.)
判别分析代码
05-09
判别分析 可以看一下
LDA线性判别分析Python程序
水滴石穿
08-04 8104
理论讲解需要导入的包# -*- coding: utf-8 -*- import numpy as np import csv from matplotlib import pyplot as plt import math导入数据集def read_iris(): from sklearn.datasets import load_iris from sklearn import
机器学习判别分析算法——线性判别分析和二次判别分析实操代码详解（3）
qq_45932996的博客
08-30 2098
以“数据7.1”文件中的数据为例进行讲解。​“数据7.1”文件记录的是某商业银行在山东地区的部分支行的经营数据（虚拟数据，不涉及商业秘密）​，案例背景是该商业银行正在推动支行开展转型，实现所有支行的做大做强。数据文件中的变量包括这些商业银行全部支行的​、​。V1（转型情况）又分为3个类别：​“0”表示“未转型网点”​，​“1”表示“一般网点”​，​“2”表示“精品网点”​。​“数据7.1”文件中的数据内容如图所示。
Fisher线性判别分析以及代码实现
m0_51669674的博客
09-02 2580
降维作为一种减少特征冗余的方法，也可以应用在线性分类当中。在K分类问题中，Fisher线性判别分析通过最大化类间方差和最小化类内方差，将数据映射到K-1维空间进行分类。本文将着重讨论推导多分类的情况。
线性判别分析(Linear Discriminant Analysis, LDA)
wydbyxr的博客
10-22 491
线性判别分析(Linear Discriminant Analysis, LDA)   是一种有监督的降维方法。与PCA齐名。 公式   直观理解：将两类样本投影到一条直线上，使得投影后的类间散布矩阵与类内散布矩阵的比值最大。 ...
python3 Fisher线性判别分析(LDA)(含详细推导和代码）
热门推荐
我不爱机器学习的博客
12-03 1万+
1、线性判别原理 线性判别分析是常用的降维技术,在模式分类和机器学习的预处理步骤中。其目标是将数据集投影到具有良好的类可分性的低维空间中，以避免过度拟合（维数过多）并降低计算成本，如将一个特征空间(一个数据集n维样本)投射到一个更小的子空间k(其中k ≤n-1)上，同时维护类区分信息。 判别式是一个函数，它接受一个输入向量x，并把它赋值给K个类中的一个，记作。在这一章中，我们将把注意力限制在线...
机器学习——线性判别分析原理及python代码实现
LCW
03-08 8179
《机器学习：公式推导与代码实践》鲁伟著读书笔记。线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的线性分类方法，其基本思想是将数据投影到低维空间，使得同类数据尽可能接近，异类数据尽可能疏远，所以线性判别分析也是一种监督降维算法。 LDA公式推导 线性判别分析的基本思想是将数据集投影到一条直线上，使得同类样本的投影点尽可能接近，不同类样本的投影点尽可能疏远。按此原理训练完成之后，将新样本投影到该直线上，根据投影点的位置来确定新样本点的类别。以二维变量为例，“+”表示正
线性判别分析
tiantangzixue的博客
05-21 1068
 LDA的全称Linear Discriminant Analysis，线性判别分析。原理是，将带标签的数据投影到维度更低的空间，使投影后的点形成按类别区分，相同类别的点在投影后的空间中更接近，异类尽可能远。二分类：给定数据集D,分别为对应类i的集合、均值向量、协方差矩阵，若将数据投影到直线w上，，则类的中心为，协方差为。最大化目标。定义类内散度矩阵，已知可求。定义类间散度矩阵，已知可求。可表示为...
c++写一个LDA(Linear Discriminant Analysis)算法代码
最新发布
11-12
抱歉，您提到的是LDA（Linear Discriminant Analysis），这与上文提到的文本主题建模(Latent Dirichlet Allocation)不同。LDA是用于自然语言处理中的主题模型，而Linear Discriminant Analysis（线性判别分析）则是一种统计学方法，用于二分类或多分类问题，通过最大化类别间的方差和最小化类别内的方差来进行特征转换。 下面是一个简单的C++代码示例，展示了如何实现基于高斯分布的LDA： ```cpp #include <iostream> #include <Eigen/Dense> // 假设我们有观测矩阵 X 和类别标签 y MatrixXd X; // 观测值矩阵 VectorXd y; // 类别标签向量 // 按类别划分数据 std::vector<MatrixXd> X_train; std::vector<MatrixXd> X_test; std::vector<VectorXd> y_train; std::vector<VectorXd> y_test; // Linear Discriminant Analysis 函数 MatrixXd computelda() { int d = X.cols(); // 特征维度 int n = X.rows(); // 样本总数 int k = unique(y).size(); // 类别数目 // 计算先验概率 VectorXd pi(n, 0); for (int i = 0; i < n; ++i) { pi(i) = count(y.begin(), y.end(), y[i]) / static_cast<double>(n); } // 计算均值和协方差矩阵 MatrixXd mu(k, d), Sigma(k, d, d); for (int c = 0; c < k; ++c) { MatrixXd X_c = X.rowwise().select(y == c); mu(c, :) = X_c.colwise().mean(); Sigma(c, :, :) = X_c.colwise().cov(); } // 解线性组合 MatrixXd W = (Sigma.fullPivLu().solveDiagonal().asDiagonal() - inv(pi)).inverse(); return W; } int main() { // 对数据进行预处理 // ... // 计算W MatrixXd W = computelda(); // 应用到新样本上 MatrixXd transformed_data = X * W; // 使用transformed_data进行后续分类 return 0; } ``` 请注意，这个例子非常基础，实际应用中可能需要处理缺失值、正则化等问题，并且可能需要依赖更专业的机器学习库如MLPack或Shogun等。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值