PCA，LDA，SVD的定义与联系

最新推荐文章于 2022-05-03 14:58:27 发布
最新推荐文章于 2022-05-03 14:58:27 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： 机器学习算法笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cs24k1993/article/details/80000875
版权

如果不降维，将导致 数据分布在一个极小的区域内。也叫维度灾难。比如说，球的体积是 v 正比于 R^3。在R/2的同心球，体积正比于(R/2)^3。同心小球是全球的体积八分之一。如果是多维球，球的大部分体积 分布在球表面内侧的“很薄”的一层，比如千/万维的话….所以要降维。不降维，高维特征没啥用，比如人脸识别….

PCA是无类别信息，不知道样本属于哪个类，用PCA，通常对全体数据操作。PCA的计算过程：
1，求数据的协方差矩阵
2，求所得协方差矩阵的特征值和特征向量（用SVD，SVD比直接特征值分解计算量小）
3，保留最重要的前R个特征值
4，降到R维后，减少了数据的冗余

LDA有类别信息，投影到类内间距最小and类间间距最大…也有一些算法，先用PCA搞一遍，再用LDA搞一遍，也有相反。反正有论文是这么搞的，至于是不是普适，要看具体问题。具体问题具体分析，这是最重要的…

参考链接：
1，https://www.zhihu.com/question/35666712
2，https://blog.csdn.net/zjm750617105/article/details/52104850
3，https://www.cnblogs.com/pinard/p/6244265.html
4，https://blog.csdn.net/Dark_Scope/article/details/53150883
5，https://www.zhihu.com/question/38319536

cs24k1993
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
机器学习--降维总结--PCA\LDA\SVD
小黎的学习总结的博客
03-02 763
本文部分参考和摘录了以下文章，在此由衷感谢以下作者的分享！ https://zhuanlan.zhihu.com/p/77151308 周志华老师的西瓜书 百面机器学习 开始咯！ 降维 什么是降维呢，可以想象一个5 * 4矩阵乘以一个4 * 3 的一个矩阵，相当于对5 * 4的矩阵进行了线性变换，得到一个5 * 3的一个矩阵，他的维度就变成了5*3。 那么降维有什么好处呢，我们为什么要进行降维？在...
LDA_PCA_SVD导论
12-14
而在SVD中，如果矩阵A是数据的协方差矩阵，那么SVD的右奇异向量与PCA的主成分向量相同。SVD也可以用于解决LDA中的某些问题，例如当类内协方差矩阵不是满秩时，SVD可以提供一个有效的解决方案。 在实际应用中，LDA常...
PCA SVD LDA
jiaobei2354717的专栏
10-22 1554
PCA的简单介绍及其matlab事项：http://www.cnblogs.com/tornadomeet/archive/2012/12/30/2839615.html
PCA SVD LDA --- Machine Learning笔记1
逐梦平常心
03-06 888
PCA推导部分与笔记详见笔记本与UFLDL教程从几何上形象地对SVD与特征值的理解： https://my.oschina.net/findbill/blog/535044其实SVD包含于PCA之中，相比于针对方阵的特征值分解，SVD普适性更强。主成分分析（PCA）与LDA有着非常近似的意思，LDA的输入数据是带标签的，而PCA的输入数据是不带标签的，所以PCA是一种unsupervised le
PCA、SVD和LDA
虎哥的铲屎员
07-08 730
文章目录1.数学知识2.PCA，主成分分析2.1 方差最大原理2.1.1推导2.1.1总结2.1 最小平方误差角度2.3 总结3.SVD（奇异值分解）SVD性质 原始数据有时有高维特征向量，可能包含很多冗余和噪声。通过降维寻找数据内部的特性，提升特征的表达能力，降低训练复杂度。 1.数学知识 数据标准化 x−x‾std\frac{x - \overline x}{std}stdx−x​，在处理数...
【机器学习】PCA、LDA、SVD
littlemichelle
03-03 3037
线性变换 如果我们将向量 v 左乘矩阵 A，我们就会得到新的向量 b，也即可以表述说矩阵 A 对输入向量 v 执行了一次线性变换，且线性变换结果为 b。因此矩阵运算 Av = b 就代表向量 v 通过一个变换（矩阵 A）得到向量 b。下面的实例展示了矩阵乘法（该类型的乘法称之为点积）是怎样进行的： 如果假设矩阵就是一阵风，它通过有形的力量得出可见的结果。而这一阵风所吹向的方向就是特征向...
PCA+SVD自己看的
12-20
PCA（主成分分析）和SVD（奇异值分解）是两种在数据分析和机器学习领域广泛应用的线性代数技术。PCA常用于数据预处理，通过转换...通过阅读PCA与SVD的总结文档和博客，可以深入学习这些概念并将其应用于实际项目中。
C++ pca lda
03-31
PCA（主成分分析）和LDA（线性判别分析）是两种常见的数据降维方法，在机器学习和统计分析中广泛应用。本文将详细介绍这两种方法以及如何使用C++进行实现。 一、主成分分析（PCA） 1. PCA简介：PCA是一种无监督...
PCA与LDA课件
10-07
另一方面，Fisher线性判别分析（LDA）是一个优化了分类效果的降维方法，与PCA不同，它在寻找数据最佳表示时考虑了类别标签信息。LDA的核心思想是寻找一个特征空间，在这个空间中，相同类别的样本点尽可能近，不同...
Direct LDA and PCA+LDA：LDA、Direct LDA和PCA+LDA的实现。 有关详细信息，请参见描述。-matlab开发
05-30
这里还有一个使用特征分解的 PCA（主成分分析）和另一个使用 SVD 的实现。 输入 X : nt xn 其中 nt 个大小为 n 的特征向量示例y : 类别标签大小为 nt 的向量例如： X = [2 3 4 2; 8 2 3 4; 3 9 2 3; 8 4 2 3; 9 9 ...
SVD(奇异值分解)算法及其评估
01-29
本文第一部分对SVD进行了简单的介绍，给出了定义和奇异值分解定理；第二部分简要地列举了SVD的应用；第三部分则构造和分析了各种求解SVD的算法，特别对传统QR迭代算法和零位移QR迭代算法进行了详细完整的分析；第四部分给出了复矩阵时的处理办法；第五部分是对各种算法的一个简要的总结。
PCA-LDA算法
05-08
讲LDA-PCA两种算法的融合好处，增加了效率和准确率！
PCA SVD LDA区别
weixin_43758551的博客
06-26 362
https://www.jianshu.com/p/00be0f73d1f5 https://www.cnblogs.com/zhusleep/p/9508790.html https://blog.csdn.net/qq_24464989/article/details/79834564 https://blog.csdn.net/Dark_Scope/article/details/5315...
SVD的概念以及应用
weixin_30845171的博客
09-13 287
第十四章利用SVD简化数据 一．引言 SVD的全称是奇异值分解，SVD的作用是它能够将高维的数据空间映射到低维的数据空间，实现数据约减和去除噪声的功能。 SVD的特点主要有以下几个方面： 1.它的优点：去除噪声，简化数据，提高算法的结果 2.它的缺点：数据的转化难以理解 3.它适用的数据：数值型数据 二．SVD的作用 SVD经常用于信息检索领域，在信息检索中我们将使用了SV...
特征值分解，奇异值分解（SVD），线性判别分析（LDA）
OldDriver1995的博客
05-03 1218
文章目录特征值与特征值分解奇异值分解线性判别分析瑞利商广义瑞利商(Generalized Rayleigh Quotient) 特征值与特征值分解 特征值分解就是要求解Ax=λxAx=\lambda xAx=λx的问题，其中λ\lambdaλ 就是特征值，xxx就是特征向量。 现在有如下矩阵 A=[7238]A=\begin{bmatrix}7&2\\3&8\end{bmatrix}A=[73​28​] 可以把原问题变换成求解(A−λ)x=0(A-\lambda)x=0(A−λ)x=0， 由
机器学习——PCA与LDA
DCGJ666的博客
04-17 4701
机器学习——PCA与LDAPCA推导一个PCALDALDA的中心思想是什么LDA的优缺点LDA的步骤推导LDAPCA和LDA有什么区别 PCA 主成分分析（PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分 可以使用两种方法进行PCA，分别是特征分解或奇异值分解（SVD）。PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。 算法步骤 假设有m条n维数据 将原始数据按列组成n行m
LDA（线性判别分析或称Fisher线性判别）,PCA（主成份分析）代码及表情识别中的应用
zhazhiqiang2010的专栏
03-13 5277
【原文：http://blog.csdn.net/raby_gyl/article/details/20362373】 1、LDA线性判别分析 也称FLD（Fisher线性判别）是一种有监督的学习方法（supervised learning）。 LDA的基本思想是： 找到一个最佳的判别矢量空间，使得投影到该空间的样本的类间离散度与类内离散度比达到最大。
数据分析-降维-PCA-LDA-LLE
老Liu的博客
03-24 1434
目录 前言 矩阵分解法 主成分分析（PCA） 实现 decomposition.PCA 判别分析法（LDA） 实现 基于流形学习的数据降维方法 LLE LLE实现 MDS MDS实现 前言 降维指采用某种映射方法，将高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : w->v，其中w是原始数据点的表达，目前最多使用向量表达形式。 v是数据点映射后的低维向量表达，通常v的维度小于w的维度。 原始数据在采集时可能包含了很高的维度，降...
基于PCA和LDA的人脸识别
qq_38006135的博客
01-01 6732
一、系统设计 1.1研究背景及意义 随着信息技术的不断发展,人们对方便快捷的身份验证和识别系统的要求不断提高。人脸识别技术因具有直接、友好、快捷、方便、易为用户所接受等特点,成为了身份验证的最理想依据,也早已成为了模式识别领域研究的热点。众多科研人员通过多年潜心研究,也做出了许多的成果,但是在实际应用中,现有的人脸识别产品大多因识别率不高、稳定性差等缺点无法满足实际需要。 针对这一现状,本文...
PCA与LDA降维技术解析及其实验
PCA有两种实现方式：特征分解和奇异值分解（SVD）。特征分解中，矩阵A被分解为QΣQ^(-1)，其中Q由A的特征向量构成，Σ是对角矩阵，对角线元素是对应的特征值。奇异值分解则是将A分解为UΣV^T，U和V是正交矩阵，Σ是...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值