【机器学习】PCA与ICA，RCA，LDA

最新推荐文章于 2022-04-17 15:53:24 发布
最新推荐文章于 2022-04-17 15:53:24 发布
阅读量6.5k 收藏 15
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duxinyuhi/article/details/53484193
版权

PCA主成分分析
图一：本来是两个维度的值，一个维度是school ranking ，一个是safety problems, 观察图中的点，可以用一个直线连起来，这个直线就是新的主分成的方向，也是方差最大的方向。两个维度合成了一个新的纬neighborhood quality
损失的信息量是点到红色直线的距离
这里写图片描述
这里写图片描述

PCA最大方差的方向
这里写图片描述

何时使用PCA
1.潜在的特征
2.维度约减（可视化高维数据，减少噪声，使其他算法（回归，分类）工作的更好）（特征脸））

这里写图片描述

PCA回顾

PCA的代码

这里写图片描述

ICA 独立成分分析
一个例子：宴会上，有三个话筒，此时有三个人同时说话，这三个话筒都能收集到三个人说的话。现在已知这三个话筒收集的语音信息（观察变量），找出三个人说的话，这三个人说的话就是独立成分（隐藏变量）
这里写图片描述

PCA与ICA的区别与对比
PCA的特征都是相互正交的，特征是有序，按最大方差的，次大方差的。。。

ICA中各新特征间的互信息为0，新特征与老特征是正交的

当所有数据为高斯数据时，根据中心极限定理，PCA也能找出独立数据

这里写图片描述
这里写图片描述

有一篇关于PCA特别好的教程
https://algobeans.com/2016/06/15/principal-component-analysis-tutorial/
其中也讲到了PCA与ICA的区别。
Therefore, ICA may be a backup technique to use if we suspect that components need to be derived based on information beyond data spread, or that components may not be orthogonal.
ICA可以作为PCA的补充，用于我们怀疑基于数据传播信息导出的主分成或者主成分不是正交的时。

这个是PCA可视化的一个帖子
http://setosa.io/ev/principal-component-analysis/

RCA随机主成分分析，特点是快

这里写图片描述

LDA线性判别分析

昱萱
关注
  • 1
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【机器学习】必会降维算法之：独立成分分析（ICA）
商务合作 | 面试培训 | 职场规划 ==>主页扫码
06-06 1794
【机器学习】必会降维算法之：独立成分分析
LDA PCA
sflotus的专栏
10-27 397
线性判别式、主成分分析
pca+lda
learnee的专栏
11-11 1318
最近看了一篇文章：warpLda，先记下来，看了再更新这篇文章。
PCA和LDA
qq_20386411的博客
10-11 9987
PCA和LDA PCA（principal component analysis）：主成分法分析法，降维是减少的特征，数据行数没变，只是将列数减少了 让数据维度变的低一些，在低维中有利于更好的概括数据 LDA线性判别分析是有监督的问题，根据 类别选择降维的方向（回头看视频是怎么将的），基于标签进行降维 PCA是无监督的问题，没有标检，基于方差进行降维 原始数据在某个维度上非常密集，全...
PCA 和LDA（这里指线性判别分析，而非LDA是隐含狄利克雷分布（Latent Dirichlet Allocation）)
Jiashilin
09-10 588
PCA的思想 　　　　PCA是找出数据里最主要的方面，用数据里最主要的方面来代替原始数据。具体的，假如我们的数据集是n维的，共有m个数据(x(1),x(2),...,x(m))(x(1),x(2),...,x(m))。我们希望将这m个数据的维度从n维降到n'维，希望这m个n'维的数据集尽可能的代表原始数据集。我们知道数据从n维降到n'维肯定会有损失，但是我们希望损失尽可能的小。那么如何让这n'...
PCA_ICA_LDA详细介绍与比较
09-02
还在为PCA、ICA、LDA而烦恼吗，作为一个机器学习与模式识别方向的研究生，这三个术语困扰了我很久，自己在网上找了很多的资料，最后发现了这个超级棒的ppt，讲得很清楚明了。好资料当然要相互分享嘛，希望这个ppt...
降维算法（PCA，KPCA，LDA，MDS，SVD，LLE，ISOMAP，LE，ICA，t-SNE）的概念和实证比较
最新发布
01-24
降维算法是机器学习领域中一个关键的工具，用于处理高维数据的复杂性和计算负担。这些算法的主要目标是减少数据的维度，同时保持数据集中的关键信息，从而提高模型的性能和理解性。本文将从概念和实证角度对比几种...
Matlab与机器学习入门 进阶与提高13降维与特征选择.zip
07-28
在机器学习领域，降维与特征选择是两个关键步骤，对于模型的构建和性能优化起着至关重要的作用。本教程“Matlab与机器学习入门 进阶与提高13降维与特征选择”旨在帮助初学者和进阶者掌握如何在Matlab环境下有效地...
PCA，LDA，ICA等的matlat源程序
03-07
PCA（主成分分析）、LDA（线性判别分析）和ICA（独立成分分析）是三种常见的数据分析和特征提取方法，常用于机器学习和信号处理领域。这些方法可以帮助我们从高维数据中提取主要信息，降低数据的复杂性，同时保持...
斯坦福大学机器学习.rar
07-28
《斯坦福大学机器学习》是一份宝贵的教育资源，涵盖了广泛的机器学习主题，旨在为初学者提供深入的理解和实践经验。这份笔记的作者显然花费了大量的时间和精力，将课程中的关键概念、算法和理论进行了清晰、详实的...
PCA_ICA_LDA_介绍与比较
04-07
PCA_ICA_LDA_介绍与比较，详细介绍，并进行了比较
PCA和LDA简介
qq_33278461的博客
09-17 1015
PCA: PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法，可用于提取数据的主要特征分量。 目的: 在高维数据中找方差最大的方向, 将n维特征映射到k维上(k < n)，k维特征是全新的正交特征，也叫主成分。 步骤： 1）将原始数据按列组成n行m列矩阵X； 2）将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值...
机器学习——PCA与LDA
DCGJ666的博客
04-17 4700
机器学习——PCA与LDAPCA推导一个PCALDALDA的中心思想是什么LDA的优缺点LDA的步骤推导LDAPCA和LDA有什么区别 PCA 主成分分析（PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分 可以使用两种方法进行PCA，分别是特征分解或奇异值分解（SVD）。PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。 算法步骤 假设有m条n维数据 将原始数据按列组成n行m
机器学习笔记17--ica/rca特征转换
handsome_happy的博客
07-14 320
将特征分解成相互独立的信息 如鸡尾酒会问题，多人在同时谈论，每个麦克风收集的都是混合音频，利用ica可以将每个独立人说话的声音分割开
机器学习(10)--PCA 和LDA
SpringHeather的专栏
05-23 308
PCA，LDA——简述 要求：原数据协方差矩阵变换成对角矩阵（非对角线数据全为零）Ps：非对角线矩阵为零是因为特征线性无关 原数据协方差矩阵不是对角矩阵是因为现在选择的基向量不好，变换后，选择好的基向量 原理：实对称矩阵一定能转换成对角阵 对角线上的值为特征值，大小决定了特征向量的重要程度（降维的关键） 目标：分子越大越好（类间距越大越好），分母越小越好（同类分布越密集越好） 化简为上图所示 加入约束条件 λ表示特征向量的重要程度（降维的关键） PCA和LDA区...
两种降维方法原理：PCA和LDA
SnowQueen1024的博客
12-13 876
1、PCA(主成分分析) 无监督降维技术，利用正交变换把由线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。 LDA选择的是投影后数据方差最大的方向。因此PCA假设方差越大，代表的信息量越大，使用主成分来表示原始数据可以去除冗余的维度，达到降维的目的。 [----暂未了解----] 2、LDA(线性判别分） 有监督的，选择的是投影后类内方差小、类间方差大的...
数据挖掘：特征提取——PCA与LDA
AvenueCyy的博客
04-02 8094
在数据维度很高时，我们会从中提取出一些有用的特征，降低数据处理的维度，方便计算，这个过程也被叫做降维。 一般常用的降维方法有PCA和LDA。 PCA：非监督降维，降维后数据的方差尽可能的大（方差大，含有的信息量就大） LDA：有监督降维，降维后，组内（同一类别）方差小，组间（不同类别之间）方差大 主成分分析PCA PCA的直观理解 PCA的一般用途： 聚类：把复杂的多维数据转为少量数据，易...
PCA和LDA原理
hxl
09-23 920
PCA的作用 主成分分析简称 PCA（Principal Component Analysis），有两个大的用处 1.Clustering 把复杂的多维数据点，简化成少量数据点，易于分簇 2.降维 降低高维数据，简化计算 降低维度，压缩，去噪 原来的数据集是d维，转换成k维的数据，k<d 新的k维数据尽可能多的包含原来d维数据的信息 数据压缩 PCA求解 2维降维到1维: 寻找一个一维向量的方向，数据在这个向量上的投影能最小化损失 从n维降维到k维：寻找一个k维向量，数据在这个k维空间的投影能
PCA、ICA与LDA：人脸识别中的方法比较
"PCA（主成分分析）、ICA（独立成分分析）和LDA（线性判别分析）是三种常用的数据降维和特征提取...然而，每种方法都有其局限性，因此，在实际应用中，通常会结合使用，或者与其他机器学习方法一起，以达到最佳效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值