主成分分析方法(PCA)详述 以及 为什么要用SVD？

最新推荐文章于 2024-04-18 14:33:23 发布
最新推荐文章于 2024-04-18 14:33:23 发布
阅读量7.7k 收藏 59
点赞数 9
分类专栏： 机器学习理论学习 文章标签： PCA SVD
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/foneone/article/details/88881334
版权

目录

概述

最大方差理论

1.3  PCA算法总结及奇异值分解应用

1.3.1基于特征值分解协方差矩阵

1.3.2 基于奇异值分解协方差矩阵

为什么要用SVD进行降维？

1.4 PCA总结

参考文献

概述

PCA(Principal Component Analysis)，即主成分分析方法，也称为主分量分析，是一种使用最广泛的数据降维算法。PCA通过线性变换将原始数据（n维特征）变换为一组各维度（k维特征）线性无关的数据，其中k维特征是全新的正交特征也被称为主成分。

在降维过程中，应该要求在减少数据特征的同时减少原特征包含信息的损失，以达到对所收集数据进行全面分析的目的。由于各变量之间存在一定的相关关系，考虑将关系紧密的特征变成尽可能少的特征，使这些新特征是两两不相关的，那么就可以用较少的综合特征分别代表存在于各个变量中的各类信息。主成分分析就属于这类降维算法。

但存在这样的一个问题，到底删除哪一列损失的信息才最小？也或者根本不是单纯删除几列，而是通过某些变换将原始数据变为更少的列且又使得丢失的信息最小？到底如何度量丢失信息的多少？如何根据原始数据决定具体的降维操作步骤？

要回答上面的问题，就要对降维问题进行数学化和形式化的讨论。而PCA是一种具有严格数学基础并且已被广泛采用的降维方法。

PCA有两种通俗易懂的解释：(1)最大方差理论(2)最小化降维造成的损失。

就最大方差理论，对PCA进行数学原理讨论。

最大方差理论

讨论原理是从直接下面这篇博客搬运来的。
           http://blog.codinglabs.org/articles/pca-tutorial.html

所以原理直接去篇博客看吧，本来想搬过来，发现公式太多了，懒得自己手写了，针对上述博客，做一些SVD奇异值分解的补充。[一定要看上述博客，要不然下面就看不懂]

1.3  PCA算法总结及奇异值分解应用

由PCA原理讲述可知，PCA本质上是将方差最大的方向作为主要特征，并且在各个正交方向上将数据“离相关”，也就是让它们在不同正交方向上没有相关性。运用协方差矩阵，通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。这样就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。

求解有两种方法：特征值分解协方差矩阵、奇异值分解协方差矩阵，故PCA算法有两种实现方法ÿ

最低0.47元/天 解锁文章
（系列笔记）27.主成分分析——PCA（下）
还没学明白
03-19 1034
PCA——用 SVD 实现 PCA PCA 优化算法 PCA的优化算法目的是优化它的目标函数： 算法一，拉格朗日乘子法： 令： 然后对W求导，并令导函数为0可得： 这是一个标准的特征方程求解问题，只需要对协方差矩阵XXTXX^TXXT进行特征值分解，将求得的特征值排序：λ1≥λ2≥...≥λd\lambda_1\ge\lambda_2\ge...\ge\lambda_dλ1​≥λ2​≥......
主成分分析PCA
ZP745210的博客
12-20 821
主成分分析（PCA）成功将原始数据从4维降至2维，同时保留了大部分数据的信息。经过PCA降维后的新变量能够有效地反映数据的差异性，有助于进行后续的数据分析和处理。通过K-Means聚类算法对PCA降维后的数据进行分类，结果表明该方法能够有效地区分不同类型的鸢尾花。在新变量的基础上，可以进一步探索其他聚类算法或分类模型对数据进行分析和预测，以验证PCA在数据处理中的效果。综合而言，PCA在数据降维方面取得了良好的效果，为后续的数据分析和建模提供了有力支持。z_%7B1j%7D。
【机器学习】主成分分析（PCA）——利用奇异值分解（SVD）（理论+图解+公式推导）
CSDN 精品推荐
08-15 4251
文章目录一、概述二、SVD奇异值分解1.Av=σuAv=\sigma uAv=σu 公式2.矩阵分解3.将结果进行降维3.1 行压缩数据降维3.2 列压缩数据降维3.3 矩阵整体压缩数据降维 欢迎回到机器学习编程系列。在这篇文章中，我们将讲解使用奇异值分解进行PCA降维处理。废话不多说，我们开始吧。 一、概述 之前讲了一种方法叫做特征值分解，它是将我们的协方差矩阵进行分解，但是这时会有一定的约束条件才可以进行分解 必须是方阵 能够被对角化 这两个要求是相对来说较高的，对于协方差矩阵是方阵，而且是
基于SVD实现PCA
jiangjiane
08-19 5324
原文链接： https://www.jianshu.com/p/800c0d1f71dd
基于SVD实现PCA算法
Yao_June的博客
11-24 2930
学了PCA以后，不用SKlearn现成的包，基于numpy和scipy自己实现了一下PCA算法，原理和SKlearn里PCA是一样的，都是基于SVD方法实现的。可以按照顺序把代码贴进去，自己跑一下试试。 导入需要的包 import time #调用时间，显示算法运行时间 import os import math import numpy as np import scipy as sp import pandas as pd # 使np矩阵不显示科学计数 np.set_printoptions(suppr
PCA用SVD来实现
Just for fun的专栏
09-08 3840
SVD(奇异值分解)是线性代数中一个常见的decomposition；PCA也是dimension reduction领域中的经典之作。初学者在学习PCA的时候可能会对PCA的算法步骤有那么一些“繁琐”的感觉。结合svd分解，会让你在编写PCA算法的时候达到一种什么样的得心应手的程度呢？且听说慢慢道来    先简单描述一下PCA的算法步骤（当然，你要对PCA有所理解啦，不甚理解也行，仅从程序员的角
主成分回归分析文献综述
05-07
主成分分析由皮尔逊首先引入，后来被霍特林发展了。主成分分析是一种通过降维技术把多个变量化为少数几个主成分（综合变量）的统计分析方法。这些主成分能够反映原始变量的绝大部分信息，它们通常表示为原始变量的某种线性组合。为了实现最有效率的降维，应使这些主成分所含的信息（在线性关系的意义上）互不重叠，也就是要求它们之间互不相干。简言之，主成分分析就是一种用一组较少的不相关（综合）变量来代替大量相关变量的统计降维方法。
PCA+SVD自己看的
12-20
PCA（主成分分析）和SVD（奇异值分解）是两种在数据分析和机器学习领域广泛应用的线性代数技术。PCA常用于数据预处理，通过转换原始数据来降低其维度，提取主要特征，同时减少噪声和冗余信息。SVD则是一种矩阵分解...
【零基础快速掌握PCA】：主成分分析在数据降维中的10大应用案例
主成分分析（PCA）是一种统计技术，用于数据降维，保留数据中的重要信息。PCA通过正交变换将一组可能相关的变量转换为一组线性不相关的变量，这些新变量称为主成分。在本章中，我们将了解PCA的理论基础和它的重要性...
大数据挖掘：PCA与SVD算法详解
"该文档详细介绍了大数据挖掘中的两种降维算法——主成分分析(PCA)和奇异值分解(SVD)，以及分类算法中的决策树。PCA是通过线性投影实现高维到低维的转换，最大化数据方差，而SVD用于潜在语义分析，其输出包括U矩阵、...
PCA使用SVD解决
红豆和绿豆的博客
03-02 3384
http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html  主成分分析在上一节里面也讲了一些，这里主要谈谈如何用SVD去解PCA的问题。PCA的问题其实是一个基的变换，使得变换后的数据有着最大的方差。方差的大小描述的是一个变量的信息量，我们在讲一个东西的稳定性的时候，往往说要减小方差，如果一个模
主成分分析（PCA）与奇异值分解（SVD）
u011489887的专栏
12-06 1255
1.主成分分析（PCA） 基变换的矩阵表示 这里要注意的是，我们列举的例子中基是正交的（即内积为0，或直观说相互垂直），但可以成为一组基的唯一要求就是线性无关，非正交的基也是可以的。不过因为正交基有较好的性质，所以一般使用的基都是正交的。下面我们找一种简便的方式来表示基变换。还是拿上面的例子，想一下，将(3,2)变换为新基上的坐标，就是用(3,2)与第一个基做内积运算，作为第一个新的坐标分...
主成分分析PCA & 奇异值分解SVD
m0_38126215的博客
09-12 732
一 特征值和特征向量 想了解PCA和SVD，首先要了解的一个概念就是特征值和特征向量。        A是矩阵，x是向量、是数。如果满足公式，则说是矩阵A的一个特征值，非零向量x为矩阵A的属于特征值的特征向量。矩阵A的特征值和特征向量可以写成以下格式，请注意。 为什么能把x叫做A矩阵的特征向量呢，其实矩阵乘向量可以理解成对向量进行旋转和拉长。当然并不是所有向量都可以被旋转，矩阵无法旋转的非...
SVD奇异值分解与PCA主成分分析
最新发布
qq_35215756的博客
04-18 765
奇异值分解（singular value decomposition, SVD），将矩阵分解为奇异向量（singular vector）和奇异值（singular value）。PCA主成分分析
从PCA和SVD的关系拾遗
热门推荐
DarkScope从这里开始
11-13 4万+
从PCA和SVD的关系拾遗最近突然看到一个问题，PCA和SVD有什么关系？隐约记得自己照猫画虎实现的时候PCA的时候明明用到了SVD啊，但SVD（奇异值分解）和PCA的（特征值分解）貌似差得相当远，由此钻下去搜集了一些资料，把我的一些收获总结一下，以免以后再忘记。PCA的简单推导PCA有两种通俗易懂的解释，1)是最大化投影后数据的方差(让数据更分散)；2)是最小化投影造成的损失。这两个思路最后都能推
【机器学习】 奇异值分解 （SVD） 和主成分分析 （PCA）
gongdiwudu的专栏
07-27 5616
在机器学习 （ML） 中，一些最重要的线性代数概念是奇异值分解 （SVD） 和主成分分析 （PCA）。收集到所有原始数据后，我们如何发现结构？
PCA方法的应用场景
sanqima的专栏
04-19 1万+
PCA(Principal Component Analysis ， PCA )是主成分分析方法，是一种较为粗糙的降维方法，对于小样本量的数据来说，它不如因子分析方法实用。但是当数据量较大时，主成分分析方法就有了用武之地了。PCA方法常用于人脸识别。 　　当样本数据成千上万时，维数上千时，PCA是非常有效的一种降维方法，它能起到的作用有两个：一个是节约存储空间，当数据量过多时，通过减少减少几个维度
PCA为什么用协方差矩阵 而SVD不用
qq_36235046的博客
12-06 1633
PCA方法是数据降维的重要手段之一，方法比较简单，就是将样本数据求一个维度的协方差矩阵，然后求解这个协方差矩阵的特征值和对应的特征向量，将这些特征向量按照对应的特征值从大到小排列，组成新的矩阵，被称为特征向量矩阵，也可以称为投影矩阵，然后用改投影矩阵将样本数据转换。取前K维数据即可，实现对数据的降维。        假设样本数据有r维（组成一个r维向量），共有n个样本。组成r*n矩阵A，矩阵每一...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Foneone

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值