sklearn PCA与LDA对比

最新推荐文章于 2024-05-18 03:44:14 发布
最新推荐文章于 2024-05-18 03:44:14 发布
阅读量737 收藏 1
点赞数 2
分类专栏： python 文章标签： LDA PCA t-SNE sklearn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SPESEG/article/details/103926707
版权
本文对比了sklearn库中的PCA和LDA在数据降维中的效果，通过不同数据集（随机数据、MNIST和抖音视频数据）的应用，探讨两者在处理高维数据时的表现。PCA在不知晓数据标签时可能是更可靠的选择，而LDA依赖于类别信息。在某些情况下，LDA表现出色，但在其他情况（如奇异矩阵）下，PCA可能更为适用。
摘要由CSDN通过智能技术生成

接上一篇：这次与LDA进行对比，看下效果如何。

 

1用sklearn产生的随机10个类别数据

初始特征为30个，由于下面条件限制，只能设置小于9的数，因此选择了8

n_components <= min(n_features, n_classes - 1)

然后再经t-SNE显示，效果令人失望至极！！！搞不懂为啥子

X origin shape, (1000, 30)
after LDA,X shape, (1000, 8)

所以我不知道LDA到底在干啥子，啥几把玩意，简直是垃圾。

同样将PCA后的维度设置为8，发现也是垃圾，卧槽。与上图基本一样，哪里出错了？？？

了解本专栏 订阅专栏 解锁全文 超级会员免费看
小李飞刀李寻欢
关注
专栏目录
订阅专栏
【机器学习】PCA与LDA比较
热情、奔放、快乐编程！
12-29 1632
LDA在降维过程中最小化类内距离，即同类样本的方差尽可能小，同时最大化类间距离，即异类样本尽可能分离，这本身是也为分类任务服务的；而PCA是无监督的降维方法，其假设方差越大，信息量越多，因此会选择样本点投影具有最大方差的方向。②如果用户对观测对象有一定的先验知识，掌握了数据的一些特征，却无法通过参数化等方法对处理过程进行干预，可能会得不到预期的效果，效率也不高。① 降维过程中可以使用类别的先验知识（有监督的），而PCA是无监督的。① PCA是无监督的降维方法，而LDA是有监督的降维方法。
机器学习之降维方法：PCA和LDA的区别
热门推荐
平原的博客
08-10 1万+
一、PCA（主成分分析） 二、LDA（线性判别分析） 1、二类LDA原理 2、多类LDA原理 3、LDA算法流程 4、LDA算法小结 三、 LDA 和 PCA区别 一、PCA（主成分分析） PCA是一种无监督的数据降维方法 降维是对数据高维度特征的一种预处理方法。降维是将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的。在实际的生...
PCA与LDA比较
11-19 957
本文用于理解机器学习中常见的两种降维方法，主成分分析和线性判别分析，并对两者进行简单的对比。 基本目录如下： 什么是PCA？ 1.1 先导数学知识准备 1.2 PCA基本概念理解 1.3 PCA推导之最大方差理论 什么是LDA？ 2.1 LDA基本概念理解 2.2 LDA理论推导 PCA与LDA的比较分析 ------------------第一菇 - 什...
主成分分析（PCA）与线性判别分析（LDA）的区别与联系
梁小憨憨的博客
08-04 6928
刚整理完PCA的内容，又记得之前用过LDA但是并没有在这里整理，所以今天把这两个算法整理下，方便以后查阅。
PCA_ICA_LDA详细介绍与比较
09-02
还在为PCA、ICA、LDA而烦恼吗，作为一个机器学习与模式识别方向的研究生，这三个术语困扰了我很久，自己在网上找了很多的资料，最后发现了这个超级棒的ppt，讲得很清楚明了。好资料当然要相互分享嘛，希望这个ppt同样对大家有所帮助。
sklearn——PCA&LDA
code_caq的博客
05-15 733
LDA：利用类别信息，将数据投影到到最容易区分的方向。 PCA：并没有利用类别信息，只是降维后每一维特征方差都大。# 导入iris数据集 from sklearn.datasets import load_iris import numpy as np iris = load_iris()# PCA from sklearn.decomposition import PCA pca = PCA(n
sklearn降维算法：PCA、LDA、MDS、流形学习Isomap
qq_42797457的博客
09-09 7667
一、PCA降维（主成分分析） PCA是最常用的无监督降维算法 其原理是寻找方差最大维度，只是最大化类间样本的方差 例如，已知存在数据点如下图 PCA算法寻找方差最大维度 PCA案例：iris降维 %matplotlib inline import matplotlib.pyplot as plt from sklearn import decomposition from sklearn im...
sklearn实现lda模型_运用sklearn进行线性判别分析(LDA)代码实现
weixin_34709138的博客
01-15 2265
基于sklearn的线性判别分析(LDA)代码实现一、前言及回顾本文记录使用sklearn库实现有监督的数据降维技术——线性判别分析(LDA)。在上一篇LDA线性判别分析原理及python应用(葡萄酒案例分析)，我们通过详细的步骤理解LDA内部逻辑实现原理，能够更好地掌握线性判别分析的内部机制。当然，在以后项目数据处理，我们有更高效的实现方法，这篇将记录学习基于sklearn进行LDA数据降维，提...
【数据挖掘】PCA/LDA/ICA：A成分分析算法比较
gongdiwudu的专栏
07-23 6689
在深入研究和比较算法之前，让我们独立回顾一下它们。请注意，本文的目的不是深入解释每种算法，而是比较它们的目标和结果。
Iris数据集的LDA和PCA 2D投影比较.ipynb
05-20
需要使用anaconda notebook打开，
百面机器学习—6.PCA与LDA要点总结
柳杰的博客
04-22 696
文章目录一、分析PCA与LDA的各自特点1.从求解方法来看2. 从目标来看3. 从结果来看4. 从应用角度来看二、分析PCA降维的一些优缺点 一、分析PCA与LDA的各自特点 1.从求解方法来看 PCA求解方法： LDA求解方法： 从PCA和LDA两种降维方法的求解过程来看，它们确实有着很大的相似性，但对应的原理却有所区别。 2. 从目标来看   PCA选择的是投影后数据方差最大的方向。由于它是无监督的，因此PCA假设方差越大，信息量越多，用主成分来表示原始数据可以去除冗余的维度，达到降维。而LDA选择
Iris数据集使用PCA/LDA/KPCA降维的结果比较
ctffengzi的博客
12-23 1766
一、实验描述 分别使用PCA、LDA和KPCA方法对Iris数据集进行降维，利用可视化工具比较降维的效果。 二、分析及设计 Principal component analysis(PCA) 算法简介 PCA的思想就是将n维特征映射到k维上(k<n)，这k维是重新构造出来的全新维度特征，而不是简单的从n维特征去除n-k维特征，这k维就是主成分。 对数据中心化 求特征的协方差矩阵 求协方差矩阵...
PCA和LDA分析在转录组测序中的作用
最新发布
longnian01的博客
05-18 2104
在转录组测序数据分析中，PCA和LDA各有优势，通常可以结合使用。PCA用于初步探索和可视化数据，了解主要变异和异常样本；LDA用于进一步分析和解释组间差异，识别对区分不同组最重要的特征和基因。通过结合两者的方法，可以获得对转录组数据更全面和深入的理解。标准差显示了每个主成分的离散程度，较大的标准差表明该主成分解释了更多的数据变异。方差比例说明了每个主成分解释的总变异的比例，前几个主成分通常解释了大部分变异。累积方差比例。
lda+pca通过sklearn实现
fukaiqi1010的博客
07-31 500
from sklearn import datasets import matplotlib.pyplot as plt from sklearn.decomposition import PCA from sklearn.discriminant_analysis import LinearDiscriminantAnalysis from mpl_toolkits.mplot3d impor...
常见的机器学习中的Warning和Error
龙晨天的博客
05-14 9178
常见的机器学习中的Warning 1. ConvergenceWarning: ConvergenceWarning: lbfgs failed to converge (status=1): STOP: TOTAL NO. of ITERATIONS REACHED LIMIT. Increase the number of iterations (max_iter) or scale the data as shown in: https://scikit-learn.org/stable/module
机器学习——PCA与LDA
DCGJ666的博客
04-17 4955
机器学习——PCA与LDAPCA推导一个PCALDALDA的中心思想是什么LDA的优缺点LDA的步骤推导LDAPCA和LDA有什么区别 PCA 主成分分析（PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分 可以使用两种方法进行PCA，分别是特征分解或奇异值分解（SVD）。PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。 算法步骤 假设有m条n维数据 将原始数据按列组成n行m
variables are collinear 的原因
budding0828
05-19 4948
近期使用sklearn框架中的LDA模块进行二分类预测时，出现以下警告： UserWarning: Variables are collinear. warnings.warn("Variables are collinear.") 由于我使用的数据集是一个非常稀疏的矩阵，而LDA在求解过程中需要求数据的逆矩阵，所以会出现以上警告。 详细的解释是： LDA涉及计算矩阵求逆，如果行列式接近于0，...
r语言做LDA时报错：Error in lda.default(x, grouping, ...) : variables 10 12 13 14 appear to be constant w...
weixin_35756373的博客
01-05 1331
你在使用 lda() 函数做 LDA 时，提示“变量10 12 13 14在组内似乎是常量”的错误。 这通常是因为在做 LDA 分析时，模型的输入数据中存在常量列，或者某些变量在组内的取值都是相同的。在这种情况下，LDA 模型无法正常工作，会报出上述错误。 建议检查你的输入数据，看看哪些变量可能存在常量列或者在组内取值相同的情况，然后尝试去除这些变量，或者对这些变量进行转换，以使其可以被 LDA ...
PCA与LDA在人脸识别中的应用
"这篇外文文献探讨了人脸识别技术，特别是PCA(主成分分析)的特征脸算法和LDA(线性判别分析)的Fisher脸算法在处理光照变化和面部表情变化时的性能。作者Peter N. Belhumeur、João P. Hespanha和David J. Kriegman...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小李飞刀李寻欢

您的欣赏将是我奋斗路上的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值