【人工智能】—_维度灾难、降维、主成分分析PCA、获取旧数据、非线性主成分分析

于 2023-09-03 09:00:00 发布
阅读量164 收藏
点赞数 1
分类专栏： 机器学习专栏 深度学习专栏 人工智能学习专栏 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Runnymmede/article/details/132642425
版权
高维数据可能导致维度灾难，影响机器学习和数据挖掘效率。降维技术如主成分分析（PCA）是解决这个问题的有效手段。PCA通过线性变换寻找主要成分，最大化数据方差，用于数据压缩、可视化和去除噪声。非线性PCA使用核函数处理非线性数据。
摘要由CSDN通过智能技术生成

文章目录

高维数据与维度灾难

大多数机器学习和数据挖掘技术对于高维数据可能不太有效。这是由于维度灾难（Curse of Dimensionality）导致的。

随着维度的增加，查询的准确性和效率会迅速下降。因此，在高维数据中，许多机器学习和数据挖掘技术可能无法处理。

然而，高维数据的内在维度可能很小。例如，在某种类型的疾病中负责的基因数量可能很少。因此，对于高维数据，需要使用专门针对高维数据的技术，如降维和特征选择，以提高机器学习和数据挖掘的效率和准确性。

维度灾难

在高维数据中，维度灾难（Curse of Dimensionality）会导致以下问题：

  • 随着维度的增加，数据在所占用的空间中变得越来越稀疏。
  • 密度和点之间的距离的定义对于聚类和异常检测变得越来越无意义。
  • 如果 N 1 =
了解本专栏 订阅专栏 解锁全文 超级会员免费看
FL1623863121
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【人工智能】维度灾难、降维、主成分分析PCA、获取旧数据、非线性主成分分析
RuanJian_GC的博客
07-24 290
这是由于，根据勾股定理，数据点到主成分的距离的平方和等于每个数据点在主成分上的投影与该数据点之间的距离的平方和。因此，最小化数据点到主成分的距离的平方和等价于最大化每个数据点在主成分上的投影的平方和。这是因为，最小化这个距离的平方和可以最大化数据点在主成分上的投影的平方和。综上所述，为了找到最佳的主成分，需要最大化每个数据点在主成分上的投影的平方和，即最小化数据点到主成分的距离的平方和。因此，对于高维数据，需要特别注意选择适当的特征和降维技术，以便提高数据的密度和距离的意义，同时减少维度灾难的影响。
机器学习实战-降维
weixin_34208283的博客
05-24 149
　　降维 　　降维的动力来自于维度魔咒，动辄几万个甚至更多的特征会导致训练变慢，而且，维数越高越难找到合适的解决方案。特征的维数对应着相同维度的一个高维空间，高维空间中点与点的距离很容易变得很大，也就是实例之间的距离很大，训练集的特征空间很稀疏，这容易导致过拟合，当然，通过添加足够多的训练实例，在理论上可以解决这个问题，然而，这个方法需要增加的实例数是成指数增长的，因此不好用。人们于是转而寻求其...
python人工智能——机器学习——数据的降维
Alex
02-13 701
数据降维 1.特征选择 2.主成分分析 特征选择 特征选择原因 1.冗余：部分特征的相关度高，容易消耗计算性能。 2.噪声：部分特征对预测结果有影响。 1.特征选择是什么 特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后可以改变值、也不改变值，但是选择后的特征维数肯定比选择前小。 主要方法（三大武器）： Filter(过滤式):VarianceThreshol...
机器学习降维方法
qq_35674954的博客
11-22 166
https://www.jianshu.com/p/b06aef9870f2
机器学习 - 降维算法总结
overzy的博客
11-30 984
机器学习 - 降维算法总结
机器学习常用的降维方法
weixin_33872660的博客
07-17 294
特征降维方法包括：Lasso，PCA，小波分析，LDA，奇异值分解SVD，拉普拉斯特征映射，SparseAutoEncoder，局部线性嵌入LLE，等距映射Isomap。 1. LASSO通过参数缩减达到降维的目的 LASSO(Least absolute shrinkage and selection operator, Tibshirani(1996))该方法是一种压缩估计，通过构造一个...
主成分分析（PCA）的未来展望：非线性降维与高维数据分析，降维新方向
[主成分分析（PCA）的未来展望：非线性降维与高维数据分析，降维新方向](https://img-blog.csdnimg.cn/20181225152103282.png) # 1. 主成分分析（PCA）概述** 主成分分析（PCA）是一种经典的降维技术，广泛应用于...
主成分分析（PCA）在数据降维中的作用
主成分分析（Principal Component Analysis，PCA）是一种常用的数据降维方法，它通过线性变换将原始数据映射到一个新的坐标系中，以便得到最大化方差的新特征空间。通过去除相关性并提取最重要的特征，PCA能够有效地...
【机器学习】-----PCA（主成分分析）
weixin_45014385的博客
03-10 1111
PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。 1. 向量表示与基变换 我们先来介绍些线性代数的基本知识。 1.1 内积 两个向量的 A 和 B 内积我们知道形式是这样的： 内积运算将两个向量映射为实数，其计算方式非常容易理解，但我们无法看出其物理含义。接下来我们从几何角度来分析，为了简单起见，我们假设 A 和 B 均为二维向量，则： 其几何表示见下图： 我们看出 A 与 B..
数据降维
Cacacacake的博客
01-03 299
数据降维一直是一个很吸引人的研究方向，最近，我在翻阅一些降维相关的算法时，发现大部分降维算法主要考虑的是如何把维度降下来，对于如何还原数据，以及还原度能达到多少多数都是提及很少，甚至有些也没有提是否可以还原。 现在向请教以下站内的大佬们，请问现在流行的一些降维算法里有哪些是可以还原数据的？具体的还原方法是什么样的？ 我刚刚涉及这个领域，希望站内的大佬们能指点以下，谢谢大佬们。 ...
降维算法之PCA：从原理到应用，8000多字，助你彻底理解！
最新发布
ZuHaohua的博客
06-20 1万+
本文首先使用数形结合介绍了PCA的原理，推导了PCA的公式；之后介绍了实现PCA算法的两种具体方式；最后使用sklearn库应用了PCA对图像数据进行降维。
人工智能（降维）——主成分分析（PCA)
weixin_46039719的博客
01-11 4894
目录 1 知识回顾 1.1 方差 1.2协方差 1.3特征向量和特征值 2 主要成份分析 2.1 数据降维 2.2主成分分析原理 2.3算法过程 3 参数说明 3.1sklearn.decomposition.PCA 3.2 PCA对象的方法 4 案例 5 Python代码实现 5.1 代码 5.2 结果 1 知识回顾 在介绍PCA的原理之前需要回顾涉及到的相关术语： • 方差 • 协方差 • 协方差矩阵 • 特征向量和特征值 ...
人工智能（2）- 学习主成成分分析（PCA）进行降维
祝你万事顺利的博客
10-24 691
一.为什么要进行降维？     在进行分类的时候我们需要大量的特征来提高分类器的准确度，但是分类器的性能随着随着维度的增加，逐步上升，达到某点其性能便逐渐下降。    为了避免性能下降的情况，我们要进行降低维度的处理。     数据的特征分量之间往往存在一些关联，如一个网站的访问量和网站的用户之间有一定的关联，一个淘宝店的下单数和成交数有一定关联。我们通过将两个有相关关系的特征进行筛选，删除...
机器学习降维-深度AI科普团队
小白不白
04-19 1097
降维 许多机器学习问题涉及训练实例的几千甚至上百万个特征。这不仅导致训练非常缓慢，也让我们更加难以找到好的解决方案。我们一般可以大量减少特征的数量，将棘手的问题转化成容易解决的问题。比如处理图像时，其边框周围很多像素对我们的分类任务无足轻重，可以删去；两个像素通常相似度很高，我们可以将其合并（例如，取两个像素强度的平均值），这样也不会丢失太多信息。 除了加快训练，降维对于数据可视化也是非常有用的。...
四大机器学习降维算法：PCA、LDA、LLE、Laplacian Eigenmaps
热门推荐
彼岸花
03-31 1万+
四大机器学习降维算法：PCA、LDA、LLE、Laplacian Eigenmaps 引言 机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的
6. NMF方法及实例
一只小羊
09-11 3226
非负矩阵分解NMF 实现原理 sklearn中非负矩阵分解 NMF人脸数据特征提取1. 非负矩阵分解（NMF）非负矩阵分解（Non-negative Matrix Factorization ，NMF）是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。 基本思想：给定一个非负矩阵V，NMF能够找到一个非负矩阵W和一个非负矩阵H，使得矩阵W和H的乘积近似等于矩阵V中的值。Vn×m=Wn×k×H
常用降维方法归纳
love198763的专栏
05-31 4330
降维方法分为线性核非线性降维，非线性降维又分为基于核函数和基于特征值的方法。 线性降维方法：PCA  ICA LDA  LFA  LPP(LE的线性表示) 基于核函数的非线性降维方法：KPCA  KICA  KDA  基于特征值的非线性降维方法（流型学习）：ISOMAP  LLE  LE  LPP  LTSA  MVU LLE（Locally Linear Embeddi
降维算法（PCA）
LanboCSDN的博客
10-30 1万+
降维方法1、主成分分析（PCA） 在PCA中，数据从原来的坐标系转换到新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复，重复次数为原始数据中特征的数目。我们会发现，大部分方差都包含在最前面的几个新坐标轴中。因此，我们可以忽略余下的坐标轴，即对数据进行降维处理。2、因子分析（Fact
数据降维与流形学习：解决高维挑战的关键
然而，对于非线性数据，PCA的效果有限，这时就需要非线性降维技术，如核主成分分析（KPCA）、神经网络（如自动编码器）以及流形学习。 流形学习，作为一种非线性降维方法，主要关注的是数据在高维空间中的局部结构...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FL1623863121

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值