降维：特征选择与抽取

最新推荐文章于 2023-12-04 19:59:57 发布
最新推荐文章于 2023-12-04 19:59:57 发布
阅读量270 收藏 1
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/theITcat/article/details/106736365
版权

为什么降维？

维度小易于训练，过拟合风险低，便于可视化，垃圾特征会误导模型。

降维分为特征选择和特征抽取

特征选择

过滤器：

        皮尔逊相关系数衡量线性关系，可以用scipy.stat函数

        互信息区分非线性关系

封装器：

        以异或运算为例，特征和结果可能有依赖关系，但是从模型角度来说特征不能单独生效。

        模型给每个特征投票，用来选择特征，可以用sklearn.feature_selection RFE函数

特征抽取

特征选择之后特征还是过多，可以进行特征抽取

PCA效果最好，线性方法，sklearn.decomposition.PCA

LDA：让不同类别之间的距离最大，相同类别之间的距离最小

MDS：用于高维数据可视化，保留了样本间的相对距离

theITcat
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PCA降维：简易人脸识别模型
CSDN 精品推荐
02-11 3994
文章目录案例实战：简易人脸识别模型1、导库2、获取图片数据3、获取图片像素矩阵4、分割数据集5、未降维数据6、PCA降维数据 案例实战：简易人脸识别模型 1、导库 # 文件目录相关库 import os # 图片操作库 from PIL import Image # 导入近邻模型 from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score # 导入降维函数 from sklear
数据降维和特征选择
Ntozot的博客
11-26 1万+
数据降维和特征选择 博主言：本文作为理论和概念整理，不做公式推导和详解计算过程，如需了解相关概念的计算公式和过程，在文后的参考链接中有详细的公式，计算过程和实例。
数据降维方法小结
yujianmin1990的专栏
09-05 3万+
数据的形式是多种多样的，维度也是各不相同的，当实际问题中遇到很高的维度时，如何给他降到较低的维度上？前文提到进行属性选择，当然这是一种很好的方法，这里另外提供一种从高维特征空间向低纬特征空间映射的思路。数据降维的目的　　数据降维，直观地好处是维度降低了，便于计算和可视化，其更深层次的意义在于有效信息的提取综合及无用信息的摈弃。数据降维的方法　　主要的方法是线性映射和非线性映射方法两大类。
看！数据分析领域中最为人称道的七种降维方法
zdy0_2004的专栏
11-22 1万+
http://dataunion.org/20803.html 感谢王穆荣的投稿，转载请注明出处：数盟社区 近来由于数据记录和属性规模的急剧增长，大数据处理平台和并行数据分析算法也随之出现。于此同时，这也推动了数据降维处理的应用。实际上，数据量有时过犹不及。有时在数据分析应用中大量的数据反而会产生更坏的性能。 最新的一个例子是采用 2009 KDD Challenge 大数据集来预测客户
【数据预处理】数据降维和特征提取
weixin_44943389的博客
09-27 318
数据降维和特征提取都是在数据预处理过程中常用的技术，它们旨在减少数据的维度以提升模型性能或减少计算复杂度。然而，它们的目标和方法略有不同：数据降维（Dimensionality Reduction）：目标：数据降维的目的是减少数据的特征维度，同时保留尽可能多的原始信息，以便更高效地处理和分析数据。方法：常用的数据降维方法包括主成分分析（PCA）、线性判别分析（LDA）等。PCA试图找到数据中最主要的方向（主成分）来表示数据，从而将数据投影到一个低维空间。LDA则是一种监督学习的降维方法，它考虑了类别信息，将
降维方法
sinat_27652257的博客
06-13 512
A.主成分分析PCAB.线性判别分析LDAC.深度学习SparseAutoEncoderD.矩阵奇异值分解SVDE.最小二乘法LeastSquares正确答案：ABCD解析：降维的3种常见方法ABD，都是线性的。深度学习是降维的方法这个就比较新鲜了，事实上，细细想来，也是降维的一种方法，因为如果隐藏层中的神经元数目要小于输入层，那就达到了降维，但如果隐藏层中的神经元如果多余输入层，那就不是降维了。...
降维方法介绍
chbxw
12-03 1393
一、常见的降维方法 1.1、第一种降维的方法称为主成分分析( Principal Component Analysis, PCA)。   在PCA中，数据从原来的坐标系转换到了新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向,第二个新坐标轴的选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复， 重复次数为原始数据中特征的数目。我们会发现，大部分方...
降维：特征选择与特征提取
Cvjark的博客
09-24 6381
对于降维，我看可以简单理解为减少数据的维度，说白了就是减少变量个数。文末的视频墙裂推荐观看一下。 特征选择： 不改变变量的含义，仅仅只是做出筛选，留下对目标影响较大的变量。 Backward Elimination（反向淘汰） Forward Selection（正向选择） Bidirectional Elimination（双向淘汰） Score Comparison（信息量比较） 前面三种...
特征选择与降维
学海没得涯 回头没得岸
07-17 2万+
特征选择与降维 【直接从word复制过来的...格式真是惨不忍睹....阿西吧以后再改吧...o(╥﹏╥)o】 参考资料： 西瓜书《机器学习》 Sklearn官方文档（中文版：https://www.cnblogs.com/stevenlk/p/6543628.html） 博客 https://www.cnblogs.com/stevenlk/p/6543628.html 官网 ht...
图像降维之MDS特征抽取方法
01-06
MDS，中文名叫“多维缩放”，是一种经典的降维方法，同时也是数据可视化的一种手段。最早起源于当我们仅能获得物体之间的相似性矩阵时，如何由此来重构它们的欧几里得坐标，如对一个国家的许多城市而言，假如我们不...
数据降维方法
07-13
代码实例化数据降维的方法，以主成分分析LDA和线性判别LDA为例。
数据降维方法汇总（中文）
04-21
很详细的各种主流数据降维方法原理的讲解，中文版的。
线性降维：PCA、LDA、MDS
WEILING123的博客
07-15 2753
降维1. KNN 1. KNN 为什么要在介绍降维之前学习KNN呢？因为通过对KNN的了解，可知，以KNN为代表的一类算法，由于本身为非参数化模型，无法使用例如在损失函数中加入正则表达式的之类的方法对某些维度信息进行约束，极易造成过拟合。 KNN是惰性学习算法的典型例子。惰性是指它仅仅对训练数据集有记忆功能，而不会从训练集中通过学习得到一个判别函数。惰性学习算法一般思想简单，且没有训练过程。相对应的则是急切学习， ...
数据的特征工程 入门详细教程(二)：特征选择与降维
qq_40697046的博客
11-17 390
文章目录特征选择特征选择是什么sklearn 特征选择API其他特征选择方法sklearn降维APIPCA是什么高维度数据容易出现的问题PCA语法实例探究 用户对物品类别的喜好细分降维特征选择与降维的比较？ 关于数据特征的简介 数据特征的抽取及处理可见文章： 数据的特征工程 入门详细教程(一)：简介 数据特征的抽取及处理 特征选择 特征选择原因 冗余：部分特征的相关度高，容易消耗计算性能 噪声：部分特征对预测结果有负影响 特征选择是什么 特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练
常见的降维方法（PCA，SVD）
风轻云淡
09-10 8532
1、PCA降维（主成分分析） PCA降维就是去除线性相关，使得最后剩余的属性维度全都线性无关。 其实：PCA降维不仅是去除先线性无关，还可以过滤掉小特征值对应的特征向量。因为特征值变化小，对应的特征向量变化也小，转换后两个维度相似性就比较大。相似度大就没有意义。 均值（平均值） 样本方差（总体方差是n，样本方差是n-1） 协...
机器学习（第7章 降维与特征提取）
最新发布
komjay的博客
12-04 551
总结一下：（1）穷举法无法处理维度大的情况，于是提出（2）单独最优特征最优组合，但这种方法不考虑组合最优，为了改进，提出了（3）SFS和（5）SBS，而为了每次选取是更优的组合，提出（4）GSFS和（6）GSBS，而改进它们一旦决策就不修改的问题，提出了（7）L-R法和（8）广义L-R法。从数据的角度出发，数据的特征并不是全都有用的，总会存在没用的特征，消除这些特征是有必要的，是利于模型去训练的。一般来说，我们使用（1）的框架，如果我们的模型很大，对精度要求高，我们可以使用（2）。
数据降维的几种常见方法（PCA；FA；LDA；ICA等）
热门推荐
iceberg7012的博客
10-23 3万+
文章目录降维方式简述一、主成分分析（PCA）二、使用步骤1.引入库2.读入数据总结 降维方式简述 在学习ICA算法的过程中，了解到常常需要对数据进行降维，如PCA，FA等，以达到数据预处理的效果，因此查阅相关资料，在这里对数据降维的几种常见方法进行归纳、梳理。 数据降维就是降低数据的维度，达到增加样本密度以及去噪的目的。降维方式主要有两种方式： 1、一种是特征选择：直接选取原有维度的一部分参与后续的计算和建模过程，用选择的维度替代所有维度，整个过程不产生新的维度（即从现有的特征里选择较小的一些来达到降维
【机器学习】降维方法
晓峰博客笔记
04-08 607
降维的作用： 降低时间复杂度和空间复 节省了提取不必要特征的开销 去掉数据集中夹杂的噪 较简单的模型在小数据集上有更强的鲁棒性 当数据能有较少的特征进行解释，我们可以更好 的解释数据，使得我们可以提取知识。 实现数据可视化 线性降维方法： 主成分分析（PCA）、线性判别分析（LDA）、奇异值分解（SVD）、因子分析、独立成分分析 非线性降维方法： 局部线性嵌入（LLE）...
降维方法总结
时间虚掷的孤岛
06-23 9394
目录 数据降维方法: 降维： 降维的用处： 降维方法思想分类： 降维方法总览 降维方法详细说明 1. 缺失值比率（Missing Value Ratio） 2. 低方差滤波（Low Variance Filter） 3. 高相关滤波（High Correlation filter） 4. 随机森林（Random Forest） 5. 反向特征消除（Back...
MDS特征抽取：经典降维与数据可视化方法详解
图像降维之MDS特征抽取方法是一种重要的数据分析技术，它在数据可视化和处理高维数据时表现出强大的能力。MDS（多维缩放）的核心思想是基于样本间的相似性或距离关系，将高维数据映射到低维空间中，同时尽可能保持...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值