主成分分析PCA & 奇异值分解SVD

最新推荐文章于 2021-11-15 07:34:22 发布
VIP文章 最新推荐文章于 2021-11-15 07:34:22 发布 584 收藏 3
分类专栏： 机器学习 文章标签： PCA 降维 数据分析 特征 SVD
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38126215/article/details/82355436
版权

一 特征值和特征向量

想了解PCA和SVD，首先要了解的一个概念就是特征值和特征向量。Ax = \lambda x        A是矩阵，x是向量、\lambda是数。如果满足公式，则说\lambda是矩阵A的一个特征值，非零向量x为矩阵A的属于特征值\lambda的特征向量。矩阵A的特征值和特征向量可以写成以下格式，请注意。

A =\left ( x1,x2,...,xn \right )\begin{bmatrix} \lambda 1&0&...&0 \\ 0&\lambda 2&...& 0\\ ...& ... & ... & \\ 0&0&...&\lambda n \end{bmatrix}\left ( x1,x2,...,xn \right )^{-1}

为什么能把x叫做A矩阵的特征向量呢，其实矩阵乘向量可以理解成对向量进行旋转和拉长。当然并不是所有向量都可以被旋转，矩阵无法旋转的非零向量就是该矩阵的特征向量！！

举一个不恰当的例子，当你想描述一部手机的时候，你会描述电池、屏幕和品牌等等手机的特征。现在轮到矩阵了，当你想描述一个矩阵的时候，不妨从它的特征向量入手。（降维可以简单理解成当矩阵的某个特征向量对应的特征值很小很小的时候，就可以抛弃这个特征向量了。）

  手机 矩阵
特征1 电池（3000毫安） x1（\lambda 1）
特征2 屏幕（4寸） x2（\lambda 2）

二 PCA

最低0.47元/天 解锁文章
阅读终点，创作起航，您可以撰写心得或摘录文章要点写篇博文。去创作
午匀需
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
主成分分析PCA与奇异值分解SVD1
08-04
1.1 从什么叫“维度”说开来 2.1 降维究竟是怎样实现 2.2 重要参数n_components 2.2.1 迷你案例：高维数据的可视化 2.2.2 最大似
本质矩阵svd分解_使用numpy解PCA, SVD
weixin_39594439的博客
11-27 458
1.概述主成分分析（PCA：principal component analysis）和奇异值分解(SVD：singular value decomposition)之间到底有何关联，以及如何使用numpy实现。主成分分析和奇异值分解是探索性数据分析（EDA）和机器学习中常用的降维方法。它们都是经典的线性降维方法，它们试图在原始高维数据矩阵中找到特征的线性组合以构造有意义的数据集表示形式。在降低尺...
PCA方法的分解过程_协方差矩阵+特征值分解+降维投影
王缓缓欢的博客
11-15 2917
非原创，感谢原作Sebastian Raschka https://sebastianraschka.com/Articles/2015_pca_in_3_steps.html from sklearn import datasets # 加载数据 iris = datasets.load_iris() # help(datasets.load_iris) # Check the data struture X = iris.data # Each row is an observation, eac
机器学习—数据压缩(PCA)—特征值分解、奇异值分解+代码理解
柳成荫
08-05 2339
一、特征值 1、特征值分解 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式子 ： Av = λv 这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式： 其中W是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵...
主成分分析法（PCA）原理和步骤
吴建明wujianming_110117
01-30 1万+
主成分分析法（PCA）原理和步骤 主成分分析（Principal Component Analysis，PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据，转换为一组线性不相关的变量，转换后的变量被称为主成分。 可以使用两种方法进行 PCA，分别是特征分解或奇异值分解（SVD）。 准备工作 PCA 将 n 维输入数据缩减为 r 维，其中 r<n。简单地说，PCA 实质上是一个基变换，使得变换后的数据有最大的方差，也就是通过对坐标轴的旋转和坐标原点的平移，
PCA的本质----特征值分解
Sunshine_in_Moon的专栏
05-27 1万+
相信大家对PCA并不陌生，但是PCA的本质你是否了解呢？今天就给大家简单讲讲，也是自己对PCA的一个巩固。博客中使用的图片来自七月算法的程博士的PPT，在此感谢程博士课上的耐心讲解。      1、特征值个特征向量     我相信大家对于这个式子非常熟悉，但是你真正的理解这个式子了吗？特征向量和特征值到底有什么意义呢？说实话，在听程博士的课之前我一直迷惑，不过现在懂了。     首先，我们
通过奇异值分解进行主成分分析：显示 PCA 与 SVD 的关系-matlab开发
05-29
此示例说明主成分分析如何与奇异值分解相关。
empca2.tar.gz_SVD 降维_SVD-pca_pca-svd_奇异值分解pca_奇异值降维
07-14
模式分类中应用到的PCA算法，包括其奇异值分解SVD算法。可用来降维提取主元素等。
主成分分析（PCA）：主成分分析（PCA）-matlab开发
05-31
对实值数据进行主成分分析 (PCA)。 有两种方法可用：'eig' 和 'svd'，它们分别通过特征值分解和奇异值分解来解决问题。 请注意“svd”在“经济”模式下运行。
基于主成分分析的字典学习
01-14
该方法取代 了K奇异值分解(KSVD) 方法中对误差项直接进行SVD 分解来更新原子, 取而代之的是通过对误差项进行PCA 分 解, 提取其主成分作为字典中原子的更新. 仿真结果表明, 与KSVD字典学习方法相比, 所提出的...
PCA数据分解
10-19
PCA分解，将四维数据降至二维，可以观察发现数据经分解任可很好的区分
矩阵分解之：主成分分析（PCA）
qfikh的博客
01-16 1万+
本文是在参考主成分分析（PCA）原理详解的基础上 添加一些自己的理解。 1.相关背景 在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观测，收集大量数据后进行分析寻找规律。多变量大数据集无疑会为研究和应用提供丰富的信息，但是也在一定程度上增加了数据采集的工作量。更重要的是在很多情形下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性。如果分别对每个指标进行分析，分析往往是孤立...
奇异值分解(SVD)与主成分分析(PCA)
Prepared的博客
11-30 1909
奇异值分解(SVD)与主成分分析(PCA) 1 算法简介 奇异值分解（Singular Value Decomposition），简称SVD，是线性代数中矩阵分解的方法。假如有一个矩阵A，对它进行奇异值分解，可以得到三个矩阵相乘的形式，最左边为m维的正交矩阵，中间为m*n 的对角阵，右边为n维的正交矩阵： A=UΣVTA=U\Sigma V^{T}A=UΣVT 这三个矩阵的大小如下图所示： 矩阵...
特征值分解、奇异值分解、PCA概念整理
Where there is life, there is hope
01-18 9万+
本文将分别介绍特征值分解、奇异值分解、及PCA的相关理论概念。 文章末尾将给出Householder矩阵变换、QR算法求解特征值、特征向量的代码 其中，特征值分解、奇异值分解的相关内容，转载自： http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html 考虑到本文50%以上的部分不是那个哥
奇异值分解(SVD)与PCA(主成分分析)
weixin_43972621的博客
09-10 5187
奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统(稍后讲解)，以及自然语言处理等领域，是很多机器学习算法的基石。下面将从SVD的原理、SVD的推导、分析SVD与PCA之间的关系等进行讲解，一步步到最后的推荐系统。 一、SVD原理 1.1 SVD定义 若A是一个m*n的矩...
主成分分析（PCA）原理详解
热门推荐
Microstrong
06-09 64万+
“微信公众号”本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com/s/Xt1vLQfB20rTmtLjiLsmww本文同步更新在我的知乎专栏里面：主成分分析（PCA）原理详解 - Microstrong的文章 - 知乎https://zhuanlan.zhihu.com/p/377770741.相关背景在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观...
PCA(主成分分析) 和 SVD（奇异值分解）
羊老羊
11-01 1637
2021.10.31 强烈推荐： PCA：https://www.bilibili.com/video/BV1E5411E71z SVD: https://www.bilibili.com/video/BV16A411T7zX 本文大多数图均出自这个UP主：同济小旭学长，希望关注一下 参考文章： 方差：https://blog.csdn.net/wistonty11/article/details/121058645 用
PCA 分解的基本推导和计算方法
TreeFish2012的专栏
12-15 1115
PCA是数据降维的一种方法，其目标是找到数据分布方差最大的方向，并将数据向该方向投影并保持投影后恢复数据的残差最小。即找到e和a，使得x的估计值x‘=m+e*a与x残差最小。注意，这里e为一个方向向量（非矩阵），且限定e的模为1（否则a和e不唯一）。 PCA的推导，通过最优化x-x’的均方误差最小，得到a=T(e）*（x-m）。 进一步，将均方误差表示为e的表达
机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用
weixin_33854644的博客
01-19 8814
版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com。也可以加我的微博: @leftnoteasy 前言： 上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去...
3. sklearn的PCA是基于奇异值分解（SVD）协方差矩阵实现的，尝试理解并解释SVD的基本原理
最新发布
04-19
SVD，也就是奇异值分解，是一种矩阵分解的方法，将一个矩阵分解为三个矩阵的乘积。具体来说，给定一个m×n的矩阵A，它可以分解为A = UΣV^T，其中U是一个m×r的正交矩阵，Σ是一个r×r的对角矩阵，对角线上的元素称为奇异值，V^T是一个r×n的正交矩阵。其中，r是矩阵A的秩。 SVD的基本原理是将矩阵A表示为一个线性变换的组合，这样可以简化计算，同时也有助于理解矩阵的性质。SVD可以帮助我们对矩阵进行降维、压缩、去噪等操作，因此在机器学习领域中被广泛应用，如PCA降维算法就是基于SVD来实现的。 总之，SVD是一种重要的矩阵分解方法，可以将一个矩阵分解为三个矩阵的乘积，其基本原理是将矩阵表示为一个线性变换的组合。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

午匀需

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值