降维（未完成 记得继续学）

最新推荐文章于 2023-04-17 17:49:41 发布
最新推荐文章于 2023-04-17 17:49:41 发布
阅读量733 收藏 2
点赞数
文章标签： 降维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43661545/article/details/103245040
版权

摘自 https://blog.csdn.net/weixin_39541558/article/details/80053831
整理以后学习方便使用。
特征降维，有时候也称之为特征抽取（用于降维的特征选择方法）或数据压缩，因为现实生活中产生的数据是越来越多，数据压缩技术可以帮助我们对数据进行存储和分析。
在特征降维技术中 PCA 主成分分析是最为经典和实用的特征降维技术，在图像识别方面表现的也很突出。
通常处理的数据是多维的，算法的时间复杂度与维数成指数级增加。维数达上千万维，称为维数灾难，往往就需要进行降维处理。
作用：数据降维：

  • 1.使数据集更容易使用
  • 2.降低算法的计算开销
  • 3.去除噪声
  • 4.减轻过拟合
  • 5.易于获取有价值的信息
  • 如果我们对领域特征比较熟悉，可以对特征加权，可以说特征加权是一种保留或删除特征的办法。特征越重要，所赋予的权值就越大，而不太重要的特征赋予较小的权值。该法在很多模型中均使用了，如 svm 中对每一个特征都赋予了一个权值。

  • 降维的分类

  • 数据降维分为特征选择和特征提取两种方法，此文介绍的是特征提取方法，即经已有特征的某种变换获取约简特征。

  • 特征提取：

  • 用变换（映射）的方法，把原始特征变换为较少的新特征。 由原始数据创建新的特征集称为特征提取。比如照片的集合，按照照片是否包含人脸分类提取一些特征。
  • 第一部分，线性降维方法
  • 假设数据集采样来自高维空间的一个全局线性的子空间，即构成数据的各变量之间是独立无关的。
    ···通过特征的线性组合来降维
    ···本质上是把数据投影到低维线性子空间
    ···线性方法相对比较简单且容易计算
    ···适用于具有全局线性结构的数据集
    一.【PCA】主成分分析
    基本思想：构造原变量的一系列线性组合形成几个综合指标，以去除数据的相关性，并使低维数据最大程度保持原始高维数据的方差信息。
    主成分个数的确定：
    贡献率：第i个主成分的方差在全部方差中所占比重，反映第i个主成分所提取的总信息的份额。
    累计贡献率：前k个主成分在全部方差中所占比重
    主成分个数的确定：累计贡献率>0.85
    相关系数矩阵or协方差阵？
    当涉及变量的量纲不同或取值范围相差较大的指标时，应考虑从相关系数矩阵出发进行主成分分析；
    对同度量或取值范围相差不大的数据，从协方差阵出发.
    相关系数矩阵消除了量纲的影响。
    很神奇且复杂。
    二.【MDS】多维尺度分析
    当 n 个研究对象之间的相似性（或距离）给定时，确定这些对象在低维空间中的表示，并使其尽可能与原先的相似性（或距离）“大体匹配”，使得由降维所引起的任何变形达到最小。
    将研究对象在一个低维（二维或三维）的空间形象地表示出来（感知图），简单明了地说明各研究对象之间的相对关系。

第二部分，非线性降维方法

数据的各个属性间是强相关的
1、【流形学习】

流形是线性子空间的一种非线性推广，流形学习是一种非线性的维数约简方法
假设：高维数据位于或近似位于潜在的低维流行上
思想：保持高维数据与低维数据的某个“不变特征量”而找到低维特征表示
以不变特征量分为：
·····Isomap：测地距离
·····LLE：局部重构系数
·····LE：数据领域关系

2、【ISOMAP】等距特征映射

基本思想：通过保持高维数据的测地距离与低维数据的欧式距离的不变性来找到低维特征表示
测地距离：离得较近的点间的测地距离用欧氏距离代替；离得远的点间的测地距离用最短路径逼近

3、【LLE】局部线性嵌入

假设：采样数据所在的低维流形在局部是线性的，即每个采样点可以用它的近邻点线性表示

基本思想：通过保持高维数据与低维数据间的局部领域几何结构，局部重构系数来实现降维
说的是些啥暂且看不懂
预感到将要花很长时间掌握降维

总结什么时候使用哪种降维技术
缺失值比率：如果数据集的缺失值太多，我们使用这种方法来减少变量的数量。我们可以删除其中包含大量缺失值的变量
低方差过滤器：我们采用这种方法从数据集中识别并删除常量变量。目标变量不会受到方差低的变量的过度影响，因此可以安全地删除这些变量
高相关性过滤器：一对具有高相关性的变量会增加数据集中的多重共线性。因此，我们可以使用此技术找到高度相关的特征并将其相应地删除
随机森林：这是最常用的技术之一，它告诉我们数据集中存在的每个特征的重要性。我们可以找到每个功能的重要性并保留最重要的功能，从而减少尺寸
后向特征消除和前向特征选择技术都需要大量的计算时间，因此通常用于较小的数据集
因子分析：此技术最适用于我们具有高度相关的变量集的情况。它根据变量的相关性将变量划分为不同的组，并用一个因子表示每个组
主成分分析：这是处理线性数据的最广泛使用的技术之一。它将数据分为一组组件，这些组件试图解释尽可能多的方差
独立组件分析：我们可以使用ICA将数据转换为独立组件，从而使用更少的组件数来描述数据
ISOMAP：当数据为高度非线性时，我们使用此技术
t-SNE：当数据是高度非线性的时，此技术也很好用。它也非常适合可视化
UMAP：此技术适用于高维数据。与t-SNE相比，其运行时间更短

协方差矩阵

方差（Variance）是度量一组数据分散的程度。方差是各个样本与样本均值的差的平方和的均值。

协方差（Covariance）是度量两个变量的变动的同步程度，也就是度量两个变量线性相关性程度。如果两个变量的协方差为0，则统计学上认为二者线性无关。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。
协方差为0的两个随机变量称为是不相关的。
关于协方差公式 不太了解原理，懂了在说。

方法 ： 过于神奇复杂，一样一样慢慢弄懂再说。

PCA流程
奇异值分解
LDA降维方法

想守护令人心疼的美好
关注
sklearn专题四：降维算法
Colorfully_lu的博客
12-17 3311
1 概述 1.1 从什么叫“维度”说开来 在过去的三周里，我们已经带大家认识了两个算法和数据预处理过程。期间，我们不断提到一些语言，比如说：随机森林是通过随机抽取特征来建树，以避免高维计算；再比如说，sklearn中导入特征矩阵，必须是至少二维；上周我们讲解特征工程，还特地提到了，特征选择的目的是通过降维来降低算法的计算成本……这些语言都很正常地被我用来使用，直到有一天，一个小伙伴问了我，”维度“到底是什么？ 对于数组和Series来说，维度就是功能shape返回的结果，shape中返回了几个
机器学习sklearn-PCA降维算法
weixin_44376037的博客
12-30 9089
1 概述 1.1 什么叫“维度” 对于数组和Series来说，维度就是功能shape返回的结果，shape中返回了几个数字，就是几维。 针对每一张表，维度指的是样本的数量或特征的数量，一般无特别说明，指的都是特征的数 量。 对图像来说，维度就是图像中特征向量的数量。特征向量可以理解为是坐标轴。 **降维算法中的”降维“，指的是降低特征矩阵中特征的数量。**降维的目的是为了让算法运算更 快，效果更好，但其实还有另一种需求：数据可视化。 1.2 sklearn中的降维算法 sklearn中降维算法都被包括在模块
机器学习07：贝叶斯学习
你的问题在于，读书太少而想得太多。
07-12 366
机器如何进行推理？5分钟一起来看一下贝叶斯学习是如何实现的……
机器学习——降维算法PCA
Clichong
02-25 1089
文章目录1、导入数据2、展示数据特征3、数据标准化4、计算协方差矩阵5、求特征值与特征向量6、按照特征值大小进行排序7、计算累积结果8、完成PCA降维9、可视化对比降维前后数据的分布 以下是使用PCA算法处理实际问题的例子，同样使用鸢尾花数据集，目的依旧是完成降维任务 基本的流程如下： 1.数据预处理，只有数值数据才可以进行PCA降维 2.计算样本数据的协方差方阵 3.求解协方差矩阵的特征值和特征向量 4.将特征值按照从大到小的顺序排列，选择其中较大的K个，然后将其对应的K个特征向量组成投影
机器学习 | 线性判别分析LDA和主成分分析PCA
RUC_Lee的博客
05-12 1547
LDA的两种含义1 背景2 线性判别分析LDA3 主成分分析PCA4 LDA和PCA有什么区别和联系？ 1 背景 聊到LDA，大部分可能都会想到是线性判别分析，甚至在面试的时候，我简历上明明写的是LDA主题模型，但面试官其实不太懂，直接就问了线性判别分析。。。所以今天我们就来聊一聊线性判别分析LDA以及和其很相近的PCA！ 2 线性判别分析LDA 3 主成分分析PCA 4 LDA和PCA有什么区别...
KPCA降维的matlab代码，贡献率，累积贡献率，可设置降维数目，可设置核函数，可设置核参数
woaipythonmeme的博客
02-27 3891
KPCA降维的matlab代码，贡献率，累积贡献率，可设置降维数目，可设置核函数，可设置核参数
数据分析-降维-PCA-LDA-LLE
老Liu的博客
03-24 1631
目录 前言 矩阵分解法 主成分分析（PCA） 实现 decomposition.PCA 判别分析法（LDA） 实现 基于流形学习的数据降维方法 LLE LLE实现 MDS MDS实现 前言 降维指采用某种映射方法，将高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : w->v，其中w是原始数据点的表达，目前最多使用向量表达形式。 v是数据点映射后的低维向量表达，通常v的维度小于w的维度。 原始数据在采集时可能包含了很高的维度，降...
sklearn（5）—— 降维算法
帆_5021的博客
07-17 2494
1 概述 1.1 从什么叫“维度”说开来 我们不断提到一些语言，比如说：随机森林是通过随机抽取特征来建树，以避免高维计算；再比如说，sklearn中导入特征矩阵，必须是至少二维；在特征工程中，还特地提到了，特征选择的目的是通过降维来降低算法的计算成本……这些语言都很正常地被我用来使用，直到有一天，一个小伙伴问了我，”维度“到底是什么？ 对于数组和Series来说，维度就是功能shape返回的结果，shape中返回了几个数字，就是几维。索引以外的数据，不分行列的叫一维（此时shape返回唯一的维度上的数据个数
ML学习分享系列3_计算广告小窥[下]要啥自行车！
寒小阳
08-22 2万+
提笔写这篇博客，我的内心是惶恐的。原因很简单，作为一个资历尚浅的研究生，是没有资格对计算广告这样一个伟大的行业、领域和学科来评头论足的。之所以这么做，一是总结自己已掌握的知识，二是降低同学们的学习成本。本人能力有限，更缺乏实践经验，文章内容多为书籍和论文的读后感，若有不当或者错误之处，还望各位同学指出，我定悉心求教。在此，向编写《计算广告》的刘鹏和王超两位老师致谢，向各位paper作者致谢。
Python机器学习基础篇三《无监督学习与预处理》
虚幻私塾
12-26 1209
前言 前期回顾： Python机器学习基础篇二《为什么用Python进行机器学习》 上面这篇里面写了文本和序列相关。 我们要讨论的第二种机器学习算法是无监督学习算法。无监督学习包括没有已知输出、没 有老师指导学习算法的各种机器学习。在无监督学习中，学习算法只有输入数据，并需要 从这些数据中提取知识。 3.1　无监督学习的类型 本章将研究两种类型的无监督学习：数据集变换与聚类。 数据集的无监督变换（unsupervised transformation）是创建数据新的表示的算法，与数据的 原始表示相比，新的表
两个取值范围不同的变量，在进行运算时，系统会对取值范围小的变量进行类型提升。
最新发布
cui170108105263的博客
04-17 199
同理 int A 和 flaot C 相加，C的取值范围比A 大，系统系统会临时把 A 从 int 类型提升到 float类型，然后再进行相加，加完后，B 再从 float 类型恢复为 int 类型。例如 int A 和 char B 相加，A 的取值范围比 B 大，系统会临时把 B 从 char 类型提升到 int 类型，然后再进行相加，加完后，B 再从 int 类型恢复为 char 类型。两个取值范围不同的变量，在进行运算时，系统会对取值范围小的变量进行类型提升。
关于降维（(Dimensionality Reduction）
g1162141320的博客
08-11 2233
一、前言     机器学习过程中都是根据特征进行学习，而每个机器学习的问题都可能包含成千上万的特征，训练时过多的特征数量会导致训练效率低下，这里引入了一个问题——维度灾难。     维度灾难     这里通过一个例子进行说明：假设一个三维立方体边长为1，那么它的体积为1，而他的内接球体积为43πr3\dfrac{4}{3}\pi r^{3}34​πr3，其中r<1，而如果在高维空间（假设为K）中，高维立方体体积仍为1，但内接球体积变为43πrK\dfrac{4}{3}\pi r^{K}34​πrK，因
R 实例 判别分析LDA 聚类分析 因子分析
weixin_45529837的博客
04-23 2493
1.读取数据 setwd("C:\\Users\\91333\\Documents\\semiester5\\MultivariateStatisticalAnalysis\\DiscriminantAnalysis") rain_data <- read.table(file = "HW1.csv", sep = ",", header = TRUE) rain_data$Rain &lt...
【机器学习】降维算法 PCA、LDA、LLE、Laplacian EigenmapsI、SOMAP 、 MDS、SNE、TSNE
CWS_chen
01-22 2690
机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的或隐式的、线性的或非线性的。 目前大部分降维算法处理向量表达的数据，也有一些降维算法处理高阶张量表达...
降维算法_LDA_PAC
weixin_41376658的博客
02-10 1240
PAC pac概述 主成分分析Principal Component Analysis 用途：降维,将N维的向量映射到 K维，从中提取有用信息，但是降维后的信息可能并不具有直观的意义。 降维过程： 1、原理：原向量经过 基变换 得到新向量 2、如何寻找合适的基： 1）降维的目的：希望投影后的投影值尽可能分散。 2）引入 方差：一维基，使得所有数据变换为这个基...
PCA降维原理 操作步骤与优缺点
TranSad的博客
05-30 3万+
PCA全称是Principal Component Analysis，即主成分分析。它主要是以“提取出特征的主要成分”这一方式来实现降维的。 介绍PCA的大体思想，先抛开一些原理公式，如上图所示，原来是三维的数据，通过分析找出两个主成分PC1和PC2，那么直接在这两个主成分的方向上就可以形成一个平面，这样就可以把我们三位的样本点投射到这一个平面上（如右图）。那么此时的PC1和PC2都不单单是我们的其中某一维特征，而是各个特征通过某种线性变化的组合结果。这就是PCA降维宏观上的效果。 ...
pca 累积方差贡献率公式_特征工程 | PCA降维
weixin_28747937的博客
12-22 1万+
基本思想 主成分分析(PCA)是一种多元统计方法，主要利用降维的思想，在损失很少信息的前提下，把多个变量转化为少数几个互不相关的综合变量，各综合变量即称为主成分。简单来说，主成分与原变量之间应有如下关系：主成分是原变量的线性组合；各主成分之间互不相关；主成分的数目远远小于原变量的数目，且保留了原变量绝大多数信息。 假设有p个变量，分别用表示，随机向量，设随机向量X...
特征选择与特征权重区别
VergiL Wang的专栏
01-07 736
在文本分类的过程中，特征（也可以简单的理解为“词”）从人类能够理解的形式转换为计算机能够理解的形式时，实际上经过了两步骤的量化——特征选择阶段的重要程度量化和将具体文本转化为向量时的特征权重量化。初次接触文本分类的人很容易混淆这两个步骤使用的方法和各自的目的，因而我经常听到读者有类似“如何使用TFIDF做特征选择”或者“卡方检验量化权重后每篇文章都一样”等等困惑。 想想通过指纹来识别一个人的身...
通俗理解PCA降维作用
热门推荐
HLBoy_happy的博客
08-13 8万+
本文主要介绍一种降维方法，PCA（Principal Component Analysis，主成分分析）。降维致力于解决三类问题。 1. 降维可以缓解维度灾难问题； 2. 降维可以在压缩数据的同时让信息损失最小化； 3. 理解几百个维度的数据结构很困难，两三个维度的数据通过可视化更容易理解。。
PCA降维详解：无监督学习中的主成分分析
在机器学习领域，无监督学习是处理未标记数据的一种方法，目的是发现数据内在的结构和模式。PCA（主成分分析）是无监督学习中的一个关键降维技术。它将具有相关性的高维数据转换为一组线性无关的低维变量，这些新...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值