主成分分析PCA & 奇异值分解SVD

最新推荐文章于 2024-09-03 21:45:00 发布
最新推荐文章于 2024-09-03 21:45:00 发布
阅读量652 收藏 3
点赞数 1
分类专栏： 机器学习 文章标签： PCA 降维 数据分析 特征 SVD
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38126215/article/details/82355436
版权
本文介绍了主成分分析PCA和奇异值分解SVD的基础概念，包括特征值、特征向量与降维的关系。通过图解和数学推导，详细阐述PCA如何通过保留最大特征值的特征向量实现数据降维。同时，探讨了SVD在非方阵特征提取中的作用，展示了在图像压缩和推荐系统等领域的应用。最后，对比了PCA与因子分析在特征降维上的区别。
摘要由CSDN通过智能技术生成

一 特征值和特征向量

想了解PCA和SVD，首先要了解的一个概念就是特征值和特征向量。Ax = \lambda x        A是矩阵，x是向量、\lambda是数。如果满足公式，则说\lambda是矩阵A的一个特征值，非零向量x为矩阵A的属于特征值\lambda的特征向量。矩阵A的特征值和特征向量可以写成以下格式，请注意。

A =\left ( x1,x2,...,xn \right )\begin{bmatrix} \lambda 1&0&...&0 \\ 0&\lambda 2&...& 0\\ ...& ... & ... & \\ 0&0&...&\lambda n \end{bmatrix}\left ( x1,x2,...,xn \right )^{-1}

为什么能把x叫做A矩阵的特征向量呢，其实矩阵乘向量可以理解成对向量进行旋转和拉长。当然并不是所有向量都可以被旋转，矩阵无法旋转的非零向量就是该矩阵的特征向量！！

举一个不恰当的例子，当你想描述一部手机的时候，你会描述电池、屏幕和品牌等等手机的特征。现在轮到矩阵了，当你想描述一个矩阵的时候，不妨从它的特征向量入手。（降维可以简单理解成当矩阵的某个特征向量对应的特征值很小很小的时候，就可以抛弃这个特征向量了。）

  手机 矩阵
特征1 电池（3000毫安） x1（\lambda 1）
特征2 屏幕（4寸） x2（\lambda 2）

二 PCA

最低0.47元/天 解锁文章
午匀需
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
主成分分析PCA与奇异值分解SVD1
08-04
PCA（主成分分析）和SVD（奇异值分解）是两种常见的降维技术，它们在数据分析和机器学习中扮演着重要角色。降维是将高维数据转换为低维表示的过程，以减少计算复杂性、提高模型解释性和可视化能力。 1. 维度的理解...
从主成分分析（PCA）到奇异值分解（SVD）
ferriswym的博客
07-18 726
PCA
【机器学习】主成分分析（PCA）——利用奇异值分解（SVD）（理论+图解+公式推导）
CSDN 精品推荐
08-15 3690
文章目录一、概述二、SVD奇异值分解1.Av=σuAv=\sigma uAv=σu 公式2.矩阵分解3.将结果进行降维3.1 行压缩数据降维3.2 列压缩数据降维3.3 矩阵整体压缩数据降维 欢迎回到机器学习编程系列。在这篇文章中，我们将讲解使用奇异值分解进行PCA降维处理。废话不多说，我们开始吧。 一、概述 之前讲了一种方法叫做特征值分解，它是将我们的协方差矩阵进行分解，但是这时会有一定的约束条件才可以进行分解 必须是方阵 能够被对角化 这两个要求是相对来说较高的，对于协方差矩阵是方阵，而且是
奇异值分解(SVD)与主成分分析(PCA)
伍六七的博客
11-30 2488
奇异值分解(SVD)与主成分分析(PCA) 1 算法简介 奇异值分解（Singular Value Decomposition），简称SVD，是线性代数中矩阵分解的方法。假如有一个矩阵A，对它进行奇异值分解，可以得到三个矩阵相乘的形式，最左边为m维的正交矩阵，中间为m*n 的对角阵，右边为n维的正交矩阵： A=UΣVTA=U\Sigma V^{T}A=UΣVT 这三个矩阵的大小如下图所示： 矩阵...
本质矩阵svd分解_使用numpy解PCA, SVD
weixin_39594439的博客
11-27 539
1.概述主成分分析（PCA：principal component analysis）和奇异值分解(SVD：singular value decomposition)之间到底有何关联，以及如何使用numpy实现。主成分分析和奇异值分解是探索性数据分析（EDA）和机器学习中常用的降维方法。它们都是经典的线性降维方法，它们试图在原始高维数据矩阵中找到特征的线性组合以构造有意义的数据集表示形式。在降低尺...
奇异值分解(SVD)与PCA(主成分分析)
weixin_43972621的博客
09-10 7204
奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统(稍后讲解)，以及自然语言处理等领域，是很多机器学习算法的基石。下面将从SVD的原理、SVD的推导、分析SVD与PCA之间的关系等进行讲解，一步步到最后的推荐系统。 一、SVD原理 1.1 SVD定义 若A是一个m*n的矩...
【机器学习】 奇异值分解 （SVD） 和主成分分析 （PCA）
gongdiwudu的专栏
07-27 4635
在机器学习 （ML） 中，一些最重要的线性代数概念是奇异值分解 （SVD） 和主成分分析 （PCA）。收集到所有原始数据后，我们如何发现结构？
PCA(主成分分析) 和 SVD（奇异值分解）
羊老羊
11-01 1908
2021.10.31 强烈推荐： PCA：https://www.bilibili.com/video/BV1E5411E71z SVD: https://www.bilibili.com/video/BV16A411T7zX 本文大多数图均出自这个UP主：同济小旭学长，希望关注一下 参考文章： 方差：https://blog.csdn.net/wistonty11/article/details/121058645 用
通过奇异值分解进行主成分分析：显示 PCA 与 SVD 的关系-matlab开发
05-29
在数据分析和机器学习领域，主成分分析（PCA）和奇异值分解（SVD）是两种广泛应用的技术。本文将深入探讨这两个概念以及它们之间的联系，并通过MATLAB编程环境提供实际的实现示例。MATLAB是一种强大的数学计算软件，...
pca_ica_ICA_PCA奇异_主成分分析pca_PCA_ICA_
10-02
PCA的关键步骤包括计算数据的协方差矩阵或中心化的散点矩阵，进行奇异值分解（SVD），然后选择重要的特征向量作为新的坐标轴。 ICA则是一种非线性的盲源分离方法，它的目标是将混合在一起的独立信号源分离出来。...
pca.zip_PCA SVD_SVD-pca_SVD分析_pca_主成分分析
07-13
SVD（奇异值分解）是矩阵论中的一个重要概念，它将任意矩阵分解为三个矩阵的乘积：UΣV^T，其中U和V是对称正交矩阵，Σ是对角矩阵，对角线上的元素为奇异值。SVD在机器学习、图像处理和统计学中有广泛应用，包括PCA...
empca2.tar.gz_SVD 降维_SVD-pca_pca-svd_奇异值分解pca_奇异值降维
07-14
在PCA中，SVD（奇异值分解，Singular Value Decomposition）扮演了关键角色。SVD是矩阵理论中的一个基本定理，它可以将任何矩阵A分解为三个正交矩阵U、Σ和V的乘积：A = UΣV^T。其中，U和V是单位正交矩阵，Σ是一个...
SVD分解与PCA
u010545732的专栏
01-31 4398
PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有
4.机器学习 ⑩ SVD与PCA
驽马十驾，功在不舍；锲而不舍，金石可镂。
09-18 525
从SVD到PCA1.奇异值分解（singular value decomposition，SVD） 1.奇异值分解（singular value decomposition，SVD）
【矩阵分解】PCA - 主成分分析中的数学原理
AI研究院
09-09 758
PCA主成分分析属于矩阵分解算法中的入门算法，通过分解特征矩阵来实现降维。前置知识：包括样本方差、协方差、协方差矩阵、散度矩阵的简单介绍特征值分解EVD和奇异值分解EVD的原理和流程分别基于EVD和SVD的PCA实现方法PCA的应用以及对一些应用或说明的补充。
特征值分解、奇异值分解、PCA概念整理
热门推荐
Where there is life, there is hope
01-18 10万+
本文将分别介绍特征值分解、奇异值分解、及PCA的相关理论概念。 文章末尾将给出Householder矩阵变换、QR算法求解特征值、特征向量的代码 其中，特征值分解、奇异值分解的相关内容，转载自： http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html 考虑到本文50%以上的部分不是那个哥
主成分分析与奇异值分解
hector_aries的博客
05-29 3092
主成分分析（Principal component analysis，PCA）由英国统计学家卡尔•皮尔逊于1901年提出。PCA是最经典和应用最广泛的以特征向量分析为基础的多元统计方法，在不同的应用领域中，又被称为奇异值分解、特征值分解、谱分解、Hotelling变换和离散Karhunen-Loeve变换等。 主成分分析通过正交相似性变换，将一组符合多元正态分布的具有多重共线性（图12-15）的变量转换为被称为主成分（PCs）的一组线性非相关的新变量的线性组合，从而起到揭示数据内部结构，以及简化数据维数的
主成分分析方法(PCA)详述 以及 为什么要用SVD？
越努力 越幸运
03-29 6768
目录 概述 最大方差理论 1.3 PCA算法总结及奇异值分解应用 1.3.1基于特征值分解协方差矩阵 1.3.2 基于奇异值分解协方差矩阵 为什么要用SVD进行降维？ 1.4 PCA总结 参考文献 概述 PCA(Principal Component Analysis)，即主成分分析方法，也称为主分量分析，是一种使用最广泛的数据降维算法。PCA通过线性变换将原始数据（n维...
Python 数据分析— Pandas 基本操作（中）
最新发布
fjwangxi的博客
09-03 513
python pandas DataFrame Series 对象的合并、拆分，对应计算
"主成分分析PCA与奇异值分解SVD的降维算法及可视化
主成分分析（PCA）和奇异值分解（SVD）是常用的降维算法，用于处理高维数据的特征提取和数据压缩。维度在数学和计算机领域中通常指的是数据的特征数量或维度数量，可以理解为数据的属性个数或数据集的列数。降维的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值