机器学习中的数学-线性判别分析（LDA）, 主成分分析(PCA)、奇异值分解（SVD）

已于 2022-05-19 21:51:00 修改
阅读量2.2k 收藏 10
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 机器学习进阶之路 文章标签： 机器学习 线性判别分析LDA 主成分分析PCA 奇异值分解SVD
于 2018-07-25 11:18:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20412595/article/details/81199018
本文深入探讨PCA（主成分分析）、SVD（奇异值分解）及其应用场景，解释了PCA的降维原理、SVD的矩阵分解过程，并介绍了PCA与SVD的关系。此外，文章指出SVD在推荐系统和数据压缩中的应用，以及PCA如何通过特征向量寻找最大方差方向来实现数据压缩。线性判别分析（LDA）的内容未在此详述。

1、What & Why PCA（主成分分析）

PCA，Principal components analyses，主成分分析。广泛应用于降维，有损数据压缩，特征提取和数据可视化。也被称为Karhunen-Loeve变换

从降维的方法角度来看，有两种PCA的定义方式，方差最大和损失最小两种方式。这里需要有一个直观的理解：什么是变换（线性代数基础）。

但是总的来说，PCA的核心目的是寻找一个方向（找到这个方向意味着二维中的点可以被压缩到一条直线上，即降维），这个方向可以：

  • 最大化正交投影后数据的方差（让数据在经过变换后更加分散）

紫色的直线 u1即是关于 x1,x2二维的正交投影的对应一维表示

PCA定义为使绿色点集的方差最小（方差是尽量让绿色所有点都聚在一坨）其中的蓝线是原始数据集（红点）到低纬度的距离，这可以引出第二种定义方

了解本专栏 订阅专栏 解锁全文 超级会员免费看
特征值分解，奇异值分解（SVD），线性判别分析（LDA）
OldDriver1995的博客
05-03 1519
文章目录特征值与特征值分解奇异值分解线性判别分析瑞利商广义瑞利商(Generalized Rayleigh Quotient) 特征值与特征值分解 特征值分解就是要求解Ax=λxAx=\lambda xAx=λx的问题，其中λ\lambdaλ 就是特征值，xxx就是特征向量。 现在有如下矩阵 A=[7238]A=\begin{bmatrix}7&2\\3&8\end{bmatrix}A=[73​28​] 可以把原问题变换成求解(A−λ)x=0(A-\lambda)x=0(A−λ)x=0， 由
PCA(主成分分析) 和 SVD（奇异值分解）
羊老羊
11-01 2146
2021.10.31 强烈推荐： PCA：https://www.bilibili.com/video/BV1E5411E71z SVD: https://www.bilibili.com/video/BV16A411T7zX 本文大多数图均出自这个UP主：同济小旭学长，希望关注一下 参考文章： 方差：https://blog.csdn.net/wistonty11/article/details/121058645 用
SVD——奇异值分解的原理机制
luojunlong378的博客
04-24 2393
文章目录 奇异值分解背景 优缺点分析 主要应用领域 预备知识 奇异值分解背景 奇异值分解（SVD），全称：Singular Value Decomposition，是一种提取信息的强大工具，它不仅提供了一种非常便捷的矩阵分解方式，能够发现数据中难以发觉的潜在模式，还能去除噪声和冗余信息，以此达到了优化数据、提高结果的目的。再者，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。也是很多机器学习算法的基石。 优缺点分析 可以简化复杂数据，降低建模实现的时间复杂度.
【机器学习】PCA、LDA、SVD
littlemichelle
03-03 3409
线性变换 如果我们将向量 v 左乘矩阵 A，我们就会得到新的向量 b，也即可以表述说矩阵 A 对输入向量 v 执行了一次线性变换，且线性变换结果为 b。因此矩阵运算 Av = b 就代表向量 v 通过一个变换（矩阵 A）得到向量 b。下面的实例展示了矩阵乘法（该类型的乘法称之为点积）是怎样进行的： 如果假设矩阵就是一阵风，它通过有形的力量得出可见的结果。而这一阵风所吹向的方向就是特征向...
[机器学习与数据分析] 数据分析常用方法
柚子
07-16 3182
一、描述统计 描述统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。 集中趋势分析：主要靠平均数、中数、众数等统计指标来表示数据的集中趋势。例如被试的平均成绩多少？是正偏分布还是负偏分布？ 离中趋势分析：主要靠全距、四分差、平均差、方差（协方差：用来度量两个随机变量关系的统计量）、标准差等统计指标来研究数据的离中趋势。例如，想知...
【机器学习】-----PCA（主成分分析）
weixin_45014385的博客
03-10 1254
PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。 1. 向量表示与基变换 我们先来介绍些线性代数的基本知识。 1.1 内积 两个向量的 A 和 B 内积我们知道形式是这样的： 内积运算将两个向量映射为实数，其计算方式非常容易理解，但我们无法看出其物理含义。接下来我们从几何角度来分析，为了简单起见，我们假设 A 和 B 均为二维向量，则： 其几何表示见下图： 我们看出 A 与 B..
FLDA-2020线性判别分析_flda_费舍尔_费舍尔线性_费舍尔线性判别分析F-LDA_降维_源码
10-02
除了FLDA本身，还有其他降维技术，如主成分分析（PCA）、独立成分分析（ICA）和奇异值分解（SVD）。虽然这些方法在某些方面与FLDA相似，但它们的主要区别在于目标不同。PCA关注于保留数据的大部分方差，而非最大化类...
稀疏学习、稀疏表示、稀疏自编码神经网络、字典学习、主成分分析PCA、奇异值分解SVD 等概念的梳理，以及常用的特征降维方法
水声建模与声呐系统
03-04 6498
传统特征降维方法 参考文献 稀疏编码 Sparse Coding 原始数据 x 的 稀疏表示 α 如下： 南大周志华老师写的《机器学习》这本书上原文：“为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表达形式，从而使学习任务得以简化，模型复杂度得以降低，通常称为‘字典学习’（dictionary learning），亦称‘稀疏编码’（sparse coding）”块内容。 延伸阅读：参...
机器学习——降维（主成分分析PCA、线性判别分析LDA、奇异值分解SVD、局部线性嵌入LLE）...
weixin_34049948的博客
04-13 570
机器学习——降维（主成分分析PCA、线性判别分析LDA、奇异值分解SVD、局部线性嵌入LLE） 以下资料并非本人原创，因为觉得石头写的好，所以才转发备忘 (主成分分析（PCA）原理总结)[https://mp.weixin.qq.com/s/XuXK4inb9Yi-4ELCe_i0EA] 来源：石头机器学习算法那些事3月1日 主成分分析（Principal components anal...
【机器学习】主成分分析（PCA）——利用奇异值分解（SVD）（理论+图解+公式推导）
CSDN 精品推荐
08-15 4523
文章目录一、概述二、SVD奇异值分解1.Av=σuAv=\sigma uAv=σu 公式2.矩阵分解3.将结果进行降维3.1 行压缩数据降维3.2 列压缩数据降维3.3 矩阵整体压缩数据降维 欢迎回到机器学习编程系列。在这篇文章中，我们将讲解使用奇异值分解进行PCA降维处理。废话不多说，我们开始吧。 一、概述 之前讲了一种方法叫做特征值分解，它是将我们的协方差矩阵进行分解，但是这时会有一定的约束条件才可以进行分解 必须是方阵 能够被对角化 这两个要求是相对来说较高的，对于协方差矩阵是方阵，而且是
SVD分解与PCA
u010545732的专栏
01-31 4492
PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有
奇异值分解(SVD)与主成分分析(PCA)
伍六七的博客
11-30 2786
奇异值分解(SVD)与主成分分析(PCA) 1 算法简介 奇异值分解（Singular Value Decomposition），简称SVD，是线性代数中矩阵分解的方法。假如有一个矩阵A，对它进行奇异值分解，可以得到三个矩阵相乘的形式，最左边为m维的正交矩阵，中间为m*n 的对角阵，右边为n维的正交矩阵： A=UΣVTA=U\Sigma V^{T}A=UΣVT 这三个矩阵的大小如下图所示： 矩阵...
奇异值分解(SVD)与PCA(主成分分析)
weixin_43972621的博客
09-10 7865
奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统(稍后讲解)，以及自然语言处理等领域，是很多机器学习算法的基石。下面将从SVD的原理、SVD的推导、分析SVD与PCA之间的关系等进行讲解，一步步到最后的推荐系统。 一、SVD原理 1.1 SVD定义 若A是一个m*n的矩...
浅谈线性变换、PCA和SVD
jin_tmac's studio
09-11 1577
矩阵变换： 先来看下几何意义，这些图来源于知乎 方阵和向量相乘，从几何意义上来讲，就是对向量作 旋转、伸缩 变换。 比如对角矩阵M作用在任何一个向量上 其几何意义为在水平x方向上方向上拉伸3倍，y方向保持不变的线性变换。换言之对角矩阵起到作用是将水平垂直网格作水平拉伸（或者反射后水平拉伸）的线性变换。 如果M不是对角矩阵，而是一个对称矩阵 那么，我们也总可以找到一组网格...
机器学习笔记—模式分类（五）参数判别估计法4（充分统计量、维数、特征线性组合、特征缺失）​​​​​​​
firemonkeycs的专栏
10-11 1114
前序文章： 机器学习笔记—模式分类（一）绪论&贝叶斯决策论 机器学习笔记—模式分类（二）参数判别估计法（最大似然估计和贝叶斯参数估计）1 机器学习笔记—模式分类（三）参数判别估计法2（最大似然估计） 机器学习笔记—模式分类（四）参数判别估计法3（贝叶斯参数估计）​​​​​​​ 同类文章： 机器学习笔记—模式识别与智能计算（四）基于概率统计的贝叶斯分类器设计（贝叶斯决策） 6、充分统计量 我们把任何关于样本集D的函数都称为一个统计量。 一个充分统计量就是一个关于样本集D的函数s.
PCA、SVD和LDA
虎哥的铲屎员
07-08 853
文章目录1.数学知识2.PCA，主成分分析2.1 方差最大原理2.1.1推导2.1.1总结2.1 最小平方误差角度2.3 总结3.SVD（奇异值分解）SVD性质 原始数据有时有高维特征向量，可能包含很多冗余和噪声。通过降维寻找数据内部的特性，提升特征的表达能力，降低训练复杂度。 1.数学知识 数据标准化 x−x‾std\frac{x - \overline x}{std}stdx−x​，在处理数...
目标跟踪理论方法小结
热门推荐
godenlove007的专栏
10-06 1万+
转载自：http://blog.sina.com.cn/s/blog_4b700c4c01017wz5.html 一、引言：在需要监控的环境里，如何能够判断出进入特定区域的目标，并且能够跟踪目标的轨迹。分为两种情况：一是静态背景下的目标跟踪；二是动态背景下的目标跟踪。 二、静态背景下的目标跟踪方法 1、单目标：目标跟踪还可以分为单目标的跟踪和多目标的跟踪。单目标的静态背景下的目标
Python机器学习05——判别分析
weixin_46277779的博客
06-23 4094
线性判别，二次线性判别，降维
深度学习（花书）读书笔记——第二章-线性代数
weixin_40824190的博客
05-27 3085
2.1 标量、向量、矩阵和张量标量(scalar):一个标量就是一个单独的数,它不同于线性代数中研究的其他大部分对象(通常是多个数的数组)。向量(vector):一个向量是一列数。这些数是有序排列的。                                                                                矩阵(matrix):矩阵是一个二维数组...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

且行且安~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值