主成分分析PCA & 奇异值分解SVD

最新推荐文章于 2024-04-18 14:33:23 发布
最新推荐文章于 2024-04-18 14:33:23 发布
阅读量654 收藏 3
点赞数 1
分类专栏： 机器学习 文章标签： PCA 降维 数据分析 特征 SVD
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38126215/article/details/82355436
版权
本文介绍了主成分分析PCA和奇异值分解SVD的基础概念，包括特征值、特征向量与降维的关系。通过图解和数学推导，详细阐述PCA如何通过保留最大特征值的特征向量实现数据降维。同时，探讨了SVD在非方阵特征提取中的作用，展示了在图像压缩和推荐系统等领域的应用。最后，对比了PCA与因子分析在特征降维上的区别。
摘要由CSDN通过智能技术生成

一 特征值和特征向量

想了解PCA和SVD，首先要了解的一个概念就是特征值和特征向量。Ax = \lambda x        A是矩阵，x是向量、\lambda是数。如果满足公式，则说\lambda是矩阵A的一个特征值，非零向量x为矩阵A的属于特征值\lambda的特征向量。矩阵A的特征值和特征向量可以写成以下格式，请注意。

A =\left ( x1,x2,...,xn \right )\begin{bmatrix} \lambda 1&0&...&0 \\ 0&\lambda 2&...& 0\\ ...& ... & ... & \\ 0&0&...&\lambda n \end{bmatrix}\left ( x1,x2,...,xn \right )^{-1}

为什么能把x叫做A矩阵的特征向量呢，其实矩阵乘向量可以理解成对向量进行旋转和拉长。当然并不是所有向量都可以被旋转，矩阵无法旋转的非零向量就是该矩阵的特征向量！！

举一个不恰当的例子，当你想描述一部手机的时候，你会描述电池、屏幕和品牌等等手机的特征。现在轮到矩阵了，当你想描述一个矩阵的时候，不妨从它的特征向量入手。（降维可以简单理解成当矩阵的某个特征向量对应的特征值很小很小的时候，就可以抛弃这个特征向量了。）

  手机 矩阵
特征1 电池（3000毫安） x1（\lambda 1）
特征2 屏幕（4寸） x2（\lambda 2）

二 PCA

最低0.47元/天 解锁文章
午匀需
关注
专栏目录
PCA(主成分分析) 和 SVD（奇异值分解）
羊老羊
11-01 1918
2021.10.31 强烈推荐： PCA：https://www.bilibili.com/video/BV1E5411E71z SVD: https://www.bilibili.com/video/BV16A411T7zX 本文大多数图均出自这个UP主：同济小旭学长，希望关注一下 参考文章： 方差：https://blog.csdn.net/wistonty11/article/details/121058645 用
从主成分分析（PCA）到奇异值分解（SVD）
ferriswym的博客
07-18 726
PCA
【机器学习】主成分分析（PCA）——利用奇异值分解（SVD）（理论+图解+公式推导）
CSDN 精品推荐
08-15 3706
文章目录一、概述二、SVD奇异值分解1.Av=σuAv=\sigma uAv=σu 公式2.矩阵分解3.将结果进行降维3.1 行压缩数据降维3.2 列压缩数据降维3.3 矩阵整体压缩数据降维 欢迎回到机器学习编程系列。在这篇文章中，我们将讲解使用奇异值分解进行PCA降维处理。废话不多说，我们开始吧。 一、概述 之前讲了一种方法叫做特征值分解，它是将我们的协方差矩阵进行分解，但是这时会有一定的约束条件才可以进行分解 必须是方阵 能够被对角化 这两个要求是相对来说较高的，对于协方差矩阵是方阵，而且是
特征值分解、奇异值分解、PCA概念整理
热门推荐
Where there is life, there is hope
01-18 10万+
本文将分别介绍特征值分解、奇异值分解、及PCA的相关理论概念。 文章末尾将给出Householder矩阵变换、QR算法求解特征值、特征向量的代码 其中，特征值分解、奇异值分解的相关内容，转载自： http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html 考虑到本文50%以上的部分不是那个哥
PCA之奇异值分解
于书盼的博客
01-14 1553
PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。 在机器学习领域，有相当多的应用与奇异值都可以扯上关系
主成分分析与奇异值分解
hector_aries的博客
05-29 3098
主成分分析（Principal component analysis，PCA）由英国统计学家卡尔•皮尔逊于1901年提出。PCA是最经典和应用最广泛的以特征向量分析为基础的多元统计方法，在不同的应用领域中，又被称为奇异值分解、特征值分解、谱分解、Hotelling变换和离散Karhunen-Loeve变换等。 主成分分析通过正交相似性变换，将一组符合多元正态分布的具有多重共线性（图12-15）的变量转换为被称为主成分（PCs）的一组线性非相关的新变量的线性组合，从而起到揭示数据内部结构，以及简化数据维数的
主成分分析基础知识-奇异值分解
weixin_43252268的博客
03-18 235
说明： 估计你用python读写文件的时候从来不会关心CPU访问了0x1f0 - 0x1f7端口来控制磁盘 所以，以实用的角度出发，只要知道奇异值分怎么分解，在主成分分析中怎么用，就可以了，怎么证明和深层的原理是什么不知道也罢 补充知识 为方便说明，讨论中的m×nm \times nm×n矩阵A，m>n 对于任意矩阵A，ATAA^TAATA都是对称矩阵 对称矩阵特征值非负 若A的秩为r，则...
主成分分析PCA与奇异值分解SVD1
08-04
PCA（主成分分析）和SVD（奇异值分解）是两种常见的降维技术，它们在数据分析和机器学习中扮演着重要角色。降维是将高维数据转换为低维表示的过程，以减少计算复杂性、提高模型解释性和可视化能力。 1. 维度的理解...
图像处理——主成分分析PCA、奇异值分解SVD
fengye2two的专栏
01-20 1万+
感谢以下2位的渊博知识：（1）李春春：http://blog.csdn.net/zhongkelee/article/details/44064401（2）沈春旭： https://blog.csdn.net/shenziheng1/article/details/52916278一、PCA简介1. 相关背景      上完陈恩红老师的《机器学习与知识发现》和季海波老师的《矩阵代数》两门课之后，颇...
机器学习-Sklearn（第三版）Day4 主成分分析PCA与奇异值分解SVD
weixin_43902376的博客
12-21 367
sklearn中降维算法都被包括在模块decomposition中，这个模块本质是一个矩阵分解模块。矩阵分解可以用在降维，深度学习，聚类分析，数据预处理，低纬度特征学习，推荐系统，大数据分析等领域。SVD和主成分分析PCA都属于矩阵分解算法中的入门算法，都是通过分解特征矩阵来进行降维PCA使用的信息量衡量指标，就是样本方差，又称可解释性方差，方差越大，特征所带的信息量越多。方差计算公式中为什么除数是n-1?这是为了得到样本方差的无偏估计。
奇异值分解与PCA
rona1的博客
06-15 454
一、奇异值分解每个矩阵A都可以分解成若干个小矩阵之和：A=σ₁Β₁+σ₂Β₂+....σ是奇异值，按从大到小排序奇异值越大，σiBi所含的信息越重要去噪音原理：噪音通常包含在奇异值小的项中，可以令小的奇异值为0来去噪音。numpy.linalg.svd()二、PCAn个Sample，m个feature，形成：X是m*n维的矩阵是协方差矩阵，代表各feature间相关性，角对称矩阵现在要对X变换，使...
主成分分析（PCA）降维原理、特征值分解与SVD分解
记忆碎片的博客
03-09 7269
文章目录PCA介绍方阵A求取特征值和特征向量方法（特征值分解）基于特征值分解协方差矩阵实现PCA算法SVD分解原理SVD分解求取矩阵特征值基于SVD分解协方差矩阵实现PCA算法 PCA介绍 主成分分析（PCA）的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。 PCA构建k维空间的具体过程: PCA从原始n维空间中顺序地找一组...
SVD奇异值分解与PCA主成分分析
最新发布
qq_35215756的博客
04-18 420
奇异值分解（singular value decomposition, SVD），将矩阵分解为奇异向量（singular vector）和奇异值（singular value）。PCA主成分分析
zedgraph 两点之间值_【科普】如何正确理解主成分分析（PCA）和奇异值分解（SVD）...
weixin_39730801的博客
12-10 156
Greeting！文章接上回，了解了特征值与特征向量的意义后，我们可以踏入线性代数中广泛应用的一种矩阵算法：奇异值分解（Singular Value Decomposition，SVD）及其应用: 主成分分析（Principle Component Analysis, PCA）。奇异值分解（SVD）的基本思路首先我们回忆一下特征值与特征向量的定义：令 是一个 的方阵。如果存在一个向量 和一个...
奇异值分解（SVD）与 主成分分析（PCA）
weixin_44885334的博客
04-26 1034
线性映射 线性映射同构于矩阵乘。线性空间的一组基α=(α1,⋯ ,αn)\alpha=(\alpha_1, \cdots, \alpha_n)α=(α1​,⋯,αn​)，一个点的坐标为x=(x1,⋯ ,xn)x=(x_1,\cdots,x_n)x=(x1​,⋯,xn​)，那么点可以记做两者内积α⋅x=∑i=1nxiαi\alpha \cdot x = \sum_{i=1}^{n} x_i\alpha_iα⋅x=∑i=1n​xi​αi​。注意，基不一定是向量，可以是任何线性无关的对象（比如，三角函数）。 线性
主成分分析方法(PCA)详述 以及 为什么要用SVD？
越努力 越幸运
03-29 6817
目录 概述 最大方差理论 1.3 PCA算法总结及奇异值分解应用 1.3.1基于特征值分解协方差矩阵 1.3.2 基于奇异值分解协方差矩阵 为什么要用SVD进行降维？ 1.4 PCA总结 参考文献 概述 PCA(Principal Component Analysis)，即主成分分析方法，也称为主分量分析，是一种使用最广泛的数据降维算法。PCA通过线性变换将原始数据（n维...
奇异值分解(SVD)与主成分分析(PCA)
伍六七的博客
11-30 2497
奇异值分解(SVD)与主成分分析(PCA) 1 算法简介 奇异值分解（Singular Value Decomposition），简称SVD，是线性代数中矩阵分解的方法。假如有一个矩阵A，对它进行奇异值分解，可以得到三个矩阵相乘的形式，最左边为m维的正交矩阵，中间为m*n 的对角阵，右边为n维的正交矩阵： A=UΣVTA=U\Sigma V^{T}A=UΣVT 这三个矩阵的大小如下图所示： 矩阵...
奇异值分解(SVD)与PCA(主成分分析)
weixin_43972621的博客
09-10 7225
奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统(稍后讲解)，以及自然语言处理等领域，是很多机器学习算法的基石。下面将从SVD的原理、SVD的推导、分析SVD与PCA之间的关系等进行讲解，一步步到最后的推荐系统。 一、SVD原理 1.1 SVD定义 若A是一个m*n的矩...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值