降维常用方法SVD、PCA、CCA、NMF

最新推荐文章于 2024-07-12 16:15:47 发布
最新推荐文章于 2024-07-12 16:15:47 发布
阅读量1.3k 收藏 2
点赞数
文章标签： 算法 机器学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47533705/article/details/124823449
版权

最近在学习一些自然语言处理方面的知识，在学习的过程中发现，词向量构成的矩阵多为稀疏矩阵，信息比较分散，必须通过降维的方法将信息集中起来，从而方便后续的分析。本文将重点介绍几种不同降维方法的思想、区别

PCA

简介：主成分分析算法的关键在于对坐标轴进行旋转，从而找到使得数据中信息更加集中的坐标方向。简单的说就是对数据进行投影。

PCA的算法流程

  1. 对样本进行中心化

小tip：对样本中心化之后的协方差数据的分析，相当于对相关系数矩阵进行分析

  1. 计算样本的协方差矩阵
  2. 对协方差矩阵进行特征分解，找到特征值以及特征向量
  3. 根据保留的信息选取相应的特征值个数

PCA的推导思路

在主成分分析中有两个降维的标准：
（1）样本点在不同的坐标轴上的信息尽可能地分开
（2）样本点在超平面的距离足够近

下面本文将根据最大投影方差，即进行坐标轴旋转之后信息量最大进行PCA的推导

SVD

简介：奇异值分解和特征分解不同，其并不要求分解的矩阵为一个方阵。而且在分解的过程红不需要求解协方差矩阵。

SVD算法思路

  1. 求解出两个方阵
  2. 分别计算两个方针的特征向量
  3. 利用AV=sigma*U求解奇异值

SVD的一些性质

  • 一个矩阵A经过奇异值分解之后可以用三个小矩阵进行奇异值的描述
  • 与PCA的关系：利用SVD的右奇异矩阵同样可以达到PCA的效果，而且通过这种方法可以可以很容易的实现不再需要暴力特征分解
  • 右奇异矩阵可以进行特征维度的压缩，左奇异矩阵可以进行样本维度的压缩

CCA

简介：CCA称为典型相关分析，通过对于相关性的分析有如下集中类型：
（1）一对一：相关系数
（2）一对多：回归
（3）多对多：典型相关分析

CCA算法思路

CCA算法：本质是投影+相关性分析，其选择的投影标准是将数据投影到一维使得两组数据的相关系数达到最大
PCA：投影标准是投影后的数据方差最大
LDA：投影原则是同类投影方差小，异类间投影的方差比较大
CCA的算法流程

dearbobby
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CCA 特征融合 降维
08-20
CCA 特征融合 降维 matlab程序实现 多元统计应用
数据降维：PCA、CCA、LDA、ICA的区别及适用场景
liuz_notes的博客
12-24 6999
比较 PCA： 无监督学习，找到最优重构子空间，使主成分能刻画样本绝大部分的方差。 应用：数据降维、Eigenfaces、PCA-SIFT CCA(Canonical Correlation Analysis)： 无监督学习，对两组变量降维，找到一个最优相关子空间进行相关性分析。 应用：问卷调查中变量的相关性分析、跨模态学习。 LDA： 有监督学习，学习一个可分性最好的投影方向。相当于是白化(whitening) + PCA，得到的是假设条件下的最优分类子空间（假设每个类都是单模态高斯分布、每个
多模态检索之CCA算法
wust_hy
04-01 5031
多模态检索主要是实现不同模态下的数据能相互检索，例如文本模态数据，和图像模态数据。要能实现他们之间的相互检索，首先要是它们相互关联起来。CCA·算法用于多模态检索步骤:      1)首先提取文本，图像各自的底层特征，也就是会得到不同维度矩阵。      2)将训练数据去中心化后，利用CCA算法将不同维度的数据映射到相同的子空间，然后使训练的文本和图像特征相关联起来 。   3）最后当利用图像检索
java初学者适用 --java中如何在主类中添加方法
weixin_50677717的博客
11-24 2383
在java文件主类中如何添加方法java文件新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 java文件 public class F { static void b(E x) { x.i+=3; x.ch+=3; }
稀疏矩阵
拼命小李博客
06-17 1650
今天突然发现了这个稀疏矩阵的这一名词，由于时间关系我自己就不总结了，但是我查阅了很多关于稀疏矩阵的资料，从中摄取了不少的知识，希望能对你们有所帮助! 1.https://blog.csdn.net/weixin_34357436/article/details/87123006 这个博主主要是使用python压缩后的稀疏矩阵和没有压缩的稀疏矩阵进行训练时间上的对比 2.https://blo...
降维算法--PCA
Cupid_kl的博客
09-12 144
在高维数据中，必然有一些特征是不带有有效的信息的（比如噪音），或者有一些特征带有的信息和其他一些特征是重复的（比如一些特征可能会线性相关）。我们希望能够找出一种办法来帮助我们衡量特征上所带的信息量，让我们在降维的过程中，能够即减少特征的数量，又保留大部分有效信息——将那些带有重复信息的特征合并，并删除那些带无效信息的特征等等——逐渐创造出能够代表原特征矩阵大部分信息的，特征更少的，新特征矩阵。在降维中，PCA使用的信息量衡量指标是样本方差，又称可解释性方差，方差越大，特征所带的信息量越多。
jiangwei.zip_MDS降维_PCA SVD_pca_pca降维_降维MDS
07-13
pca、svd、mds 数据降维，用来对数据进行预处理 新人学习，叨扰
PCA降维+利用svd降维+利用sklearn库svd降维
02-08
在Python的机器学习库scikit-learn（sklearn）中，PCA的实现支持SVD方法。`sklearn.decomposition.PCA`类提供了PCA降维的功能。用户可以通过设置参数`svd_solver='full'`、`svd_solver='arpack'`或`svd_solver='...
基于SVD分解的PCA降维图像重建MATLAB仿真+仿真操作录像
10-17
1.版本：matlab2021a，我录制了仿真操作录像，可以跟着操作出仿真结果 2.领域：PCA降维图像...3.内容：基于SVD分解的PCA降维图像重建MATLAB仿真,并输出不同降维程度的图像重建效果 4.适合人群：本，硕等教研学习使用
canoco数据分析CCA、PCA、RDA
01-13
在生态学统计分析中用的PCA、CCA、RDA均能通过canoco实现
empca2.tar.gz_SVD 降维_SVD-pca_pca-svd_奇异值分解pca_奇异值降维
07-14
PCA（主成分分析，Principal Component Analysis）是一种广泛应用的数据分析方法，用于将高维数据转换为一组线性不相关的低维表示，从而降低数据复杂性，同时最大化数据集内的方差。在模式分类、图像处理、金融数据...
OLS,PCA,CCA,PLS和CR的关系总结及几何解释
游戏里的编程游戏
09-15 4448
文章目录Ordinary Least Squares（OLS）Canonical Correlation Analysis（CCA）Principal Components Analysis (PCA)Partial Least Squares (PLS)Continuum Regression (CR)OLS,PLS,PCA 和CR关系参考文献 总结一下这几个常见的模型之间的关系，主要关注单相应变量的情况 Ordinary Least Squares（OLS） 最小二乘法是一种常见的回归模型 y=Xβ
干货｜机器学习-稀疏矩阵的处理
热门推荐
喜欢打酱油的老鸟
01-20 1万+
https://www.toutiao.com/a6647043426384609805/   2019-01-16 18:43:19   什么是稀疏矩阵？ 我们知道矩阵是一个由m行和n列组成的二维数据对象，因此一共有m x n个数值。当这个矩阵的绝大部分数值为零，且非零元素呈不规律分布时，则称该矩阵为稀疏矩阵（Sparse Matrix）。下图所示的是一个8 x 8的稀疏矩阵。 ...
常见的降维方法（PCA，SVD）
风轻云淡
09-10 8384
1、PCA降维（主成分分析） PCA降维就是去除线性相关，使得最后剩余的属性维度全都线性无关。 其实：PCA降维不仅是去除先线性无关，还可以过滤掉小特征值对应的特征向量。因为特征值变化小，对应的特征向量变化也小，转换后两个维度相似性就比较大。相似度大就没有意义。 均值（平均值） 样本方差（总体方差是n，样本方差是n-1） 协...
12种降维方法终极指南（含Python代码）
weixin_34321753的博客
09-04 2596
你遇到过特征超过1000个的数据集吗？超过5万个的呢？我遇到过。降维是一个非常具有挑战性的任务，尤其是当你不知道该从哪里开始的时候。拥有这么多变量既是一个恩惠——数据量越大，分析结果越可信；也是一种诅咒——你真的会感到一片茫然，无从下手。 面对这么多特征，在微观层面分析每个变量显然不可行，因为这至少要几天甚至几个月，而这背后的时间成本是难以估计的。为此，...
降维算法之奇异值分解 (Singular Value Decomposition, SVD)
极光喵的博客
03-12 1951
在标准 SVD 中，我们会计算所有的奇异值和奇异向量，但在截断 SVD 中，我们仅计算和保留前 k 个最大的奇异值及其对应的奇异向量。较大的奇异值意味着相应的左、右奇异向量更能够捕捉到数据的主要结构和模式，而较小的奇异值通常对应于数据的次要特征或噪声。保留较大的奇异值通常意味着保留了数据中的主要成分，而忽略了较小的奇异值有助于滤除噪声和不重要的成分。通过保留较大的奇异值及其对应的奇异向量，我们能够提取出数据的主要特征，同时去除噪声和不重要的信息，从而实现数据的降维、压缩和特征提取。
函数模板与类模板
程序员_小兵
07-12 1561
/交换int数据a = b;b = temp;//交换char数据a = b;b = temp;//问题：如果我要交换double类型数据，那么还需要些一个double类型数据交换的函数//繁琐，写的函数越多，当交换逻辑发生变化的时候，所有的函数都需要修改，无形当中增加了代码的维护难度//如果能把类型作为参数传递进来就好了，传递int就是Int类型交换，传递char就是char类型交换//我们有一种技术，可以实现类型的参数化---函数模板。
基于Big-Bang-Big-Crunch(BBBC)算法的目标函数最小值计算matlab仿真
最新发布
熟悉python,matlab,C,C++,JAVA等
07-12 382
BBBC算法的核心思想模拟了宇宙从大爆炸（Big Bang）开始，经历扩张，再到可能的大收缩（Big Crunch）的过程，以此类比于在解空间中从初始分散的解集出发，通过一系列搜索过程逐步集中并接近最优解的过程。：一个简化的聚集方法可以是xi′′​=xbest​+β⋅(xi′​−xbest​)，其中xbest​是最优解，β是一个小于1的收缩因子，控制收缩速度。：每个解xi​依据一定的规则在解空间中移动，这个移动可以是随机的，也可以基于某种策略，比如基于目标函数梯度的方向或者利用当前解与其他解的相对位置。
python实现CCA算法
09-11
要在Python中实现CCA算法，可以使用scikit-learn库中的`CCA`类。首先，需要导入该类: ``` from sklearn.cross_decomposition import CCA ``` 然后，创建一个`CCA`对象: ``` cca = CCA(n_components=2) ``` 在这里，`n_components`参数表示要保留的主成分数量。接下来，将自变量和因变量作为输入，使用`fit`方法进行拟合: ``` cca.fit(X, Y) ``` 其中，`X`和`Y`分别是自变量和因变量的数据。然后，可以使用`transform`方法进行变换: ``` X_c, Y_c = cca.transform(X, Y) ``` 最后，`X_c`和`Y_c`分别是自变量和因变量的CCA变换结果。你可以使用这些变换后的数据进行后续分析和建模。 总结起来，实现CCA算法的步骤包括导入`CCA`类、创建`CCA`对象、拟合数据和进行变换。在拟合和变换过程中，可以使用适合的自变量和因变量数据进行CCA分析。这样，你就可以在Python中实现CCA算法了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值