主成分分析学习笔记

最新推荐文章于 2023-04-26 23:13:00 发布
最新推荐文章于 2023-04-26 23:13:00 发布
阅读量228 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40249258/article/details/113725125
版权
本文详细介绍了主成分分析（PCA）在数据处理中的应用，包括数据降维、可视化和压缩，同时对比了基于协方差矩阵的特征值分解和奇异值分解（SVD）的计算方法。通过标准化、特征值计算和矩阵操作，揭示了如何利用这两种技术实现高效的数据维度削减。
摘要由CSDN通过智能技术生成

1 主成分分析的应用

主要用在数据降维、高维数据的探索与可视化、数据压缩、数据预处理。

PCA的本质是找到某一个投影方向，使得数据在投影方向的方差最大。

2 基于协方差矩阵的特征值分解

(1) 对特征值进行归一化

设第j个特征的均值为\mu j，标准差为\sigma j，则第j个特征标准化公式为x_{j} = \frac{x_{j} - \mu_{j}}{\sigma_{j}}，注意x_{j}是列向量

(2) 计算协方差矩阵

\sum =\frac{1}{m-1}\sum_{i=1}^{m}X^{T}X

(3) 计算协方差矩阵的特征值和特征向量，可以用numpy库函数直接求解

eigenvalues, eigenvectors = np.linalg.eig(sigma)

(4) 取特征值由高到低排序的前k个特征值对应的特征向量组成特征矩阵Ureduce，并利用如下公式计算降维后数据Z

3 基于数据矩阵的奇异值分解

除了用特征值分解外，还可以用奇异值分解计算，计算速度更快，步骤如下：

（1） 对特征值进行归一化

（2）对数据进行SVD分解

u, s, vT = np.linalg.svd(X,full_matrices=0)
  • X的大小为（M,N）
  • 总共有三个返回值u,s,v

  • u大小为(M,M)，s大小为(M,N)，v大小为(N,N)

（3）计算降维后的数据Z，只需要用到vT矩阵

 

雷啊倒萨
关注
【学习笔记】主成分分析法介绍
weixin_54581900的博客
06-22 2568
主成分分析法
机器学习之主成分分析(PCA）
dangzhileiqaz的专栏
12-21 1510
主成分分析：
UFLDL 教程学习笔记（四）主成分分析
weixin_30360497的博客
09-09 122
UFLDL（Unsupervised Feature Learning and Deep Learning）Tutorial 是由 Stanford 大学的 Andrew Ng 教授及其团队编写的一套教程，内容深入浅出，有很强的实用性，学习起来，让人有种酣畅淋漓的感觉。邓侃博士于今年 2 月 20 日起，在新浪微博上召集志愿者对该教程进行翻译，并于 4 月 8 日全部完成，非常感谢所有参与...
主成分分析（学习笔记）
RoBOt__Dreamer
07-13 713
主成分分析：principal component analysis （PCA）由卡尔皮尔逊于1901年提出，是一种分析，简化数据的技术，主要用于降低数据的维数，并且在这个过程中，保持数据集中的对方差贡献最大的特征。具体怎样做呢？对数据集的协方差矩阵进行特征分解，得到数据集的主成分（特征向量）和相对应的权值（特征值）。我们要在降低数据维数的过程中，使数据集的信息丢失尽可能的小，这等价于在原数据集中...
主成分分析（PCA）原理详解
热门推荐
Microstrong
06-09 65万+
“微信公众号”本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com/s/Xt1vLQfB20rTmtLjiLsmww本文同步更新在我的知乎专栏里面：主成分分析（PCA）原理详解 - Microstrong的文章 - 知乎https://zhuanlan.zhihu.com/p/377770741.相关背景在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观...
主成分分析学习笔记+sklearn人脸识别例子
fengjiandaxia的博客
03-01 911
降维算法之PCA 一、降维算法概述 高维数据不易于存储与分析，在处理高维数据之前往往要对其进行维归约，也叫降维。在高维数据中，必然有些特征是不带有有效的信息的（比如噪音），或者有些特征带有的信息和其他些特征是重复的（比如些特征可能会线性相关）。我们希望能够找出种办法来帮助 我们衡量特征上所带的信息量，让我们在降维的过程中，能够即减少特征的数量，又保留大部分有效信息将那 些带有重复信息的特征合并，并删除那些带无效信息的特征等等逐渐创造出能够代表原特征矩阵大部分信息 的，特征更少的，新特征矩阵。 维归约算法大致
深度学习笔记之主成分分析
12-28
主成分分析(PCA)是数据分析领域中常用的一种降维技术，尤其在深度学习中，它常用于预处理数据，减少数据的复杂性，同时保留最重要的信息。PCA通过线性变换将原始数据转换到一个新的坐标系统中，使得新的坐标轴按照...
主成分分析笔记
CourserLi的博客
08-19 475
主成分分析笔记
主成分分析_python_主成分分析_
09-28
**主成分分析(PCA)简介** 主成分分析（Principal Component Analysis，PCA）是一种常见的数据分析方法，主要用于高维数据集的降维。它通过线性变换将原始数据转换为一组各维度线性无关的新变量，即主成分。这些新...
学习笔记-主成分分析法
最新发布
qq_25368751的博客
04-26 765
PCA的数学思想：根据p个特征的线性组合，得到一个新的特征z，使得该特征的方差最大，该特征即为主成分。再次寻找p个特征的线性组合，得到新的特征，该特征与之前得到的主成分线性无关，且方差最大。其余要点：如果每个主成分的贡献率都相差不多，则不建议使用PCA。因为它一定程度上舍弃了部分信息，来提高整体的计算效率。对于降维形成的主成分，我们经常无法找到其在实际情况中所对应的特征，即主成分的解释其含义一般带有模糊性，不像原始变量的含义那么清楚确切，这也是PCA的缺陷所在。PCA不可用于评价类模型。
矩阵的特征：主成分分析（PCA）
人邮异步社区
06-20 6246
我们先从主成分分析PCA开始看。在解释这个方法之前，我们先快速回顾一下什么是特征的降维。在机器学习领域中，我们要进行大量的特征工程，将物品的特征转换成计算机所能处理的各种数据。通常，如果我们增加物品的特征，就有可能提升机器学习的效果。可是，随着特征数量不断增加，特征向量的维数也会不断升高。这不仅会加大机器学习的难度，还会形成过拟合，影响最终的准确度。针对这种情形，我们需要过滤掉一些不重要的特征，或者是将某些相关的特征合并起来，最终达到在降低特征维数的同时，尽量保留原始数据所包含的信息。了解了这些背景信息，我
谈主成分分析/因子分析中的特征值“矩阵近似”
Cuiweibaike的博客
12-20 1520
CSDN中一些文章在介绍这个问题或者叫“特征值分解”时，讲得都比较学术化，今天用一个小例子，还是面向新人，来引导理解“特征值分解”和“矩阵近似”。
主成分分析计算步骤
qq_38147044的博客
04-08 4130
最近看了很多关于主成分分析的视频和博客，大多在讲推导过程，有些晦涩难懂，而且不会应用。所以就决定干脆先看看怎么应用并计算的吧 此处采用主成分分析进行特征选择，其中用到的数据来自王志宏老师编著的《大数据分析原理与实践》一书。 主成分分析多数用在那些特征和类标签是相关的，但这些特征里面存在噪声和冗余。使用PCA可以减少特征数，减少噪声和冗余，减少过度拟合的可能性。 什么是主成分分析 主成分分析采用数据降维的方法，找出几个综合变量来代替原来的变量，并且要尽可能的代表原来变量的信息，这些综合变量要互不.
主成分分析法（三）：计算步骤
冷月无声的博客
03-29 9万+
主成分分析系列： 主成分分析 (一）： 基本思想与主成分估计方法 主成分分析 (二）： 特征值因子的筛选 主成分分析法（三）：计算步骤 目录 一：主成分分析简述 二：主成分分析法的步骤 1）对原始数据进行标准化处理 2）计算相关系数矩阵R 3）计算特征值和特征向量 4）选择 p （ p ≤ m ）个主成分，计算综合评价值 一：主成分分析简述 主成分分析...
主成分分析法及特征值的含义
My Sunshine
12-02 5万+
主成分分析法是一种非常适用，又相对简单的数据处理的方法。它是利用降维的方法，将数据表示的信息的主要成分提取出来，所以叫做主成分分析法。  从它的作用可以看出来，它的运用非常的广泛:  1. 显而易见，由于它可以提取主要的信息成分，所以它可以用来过滤掉信号的噪声。 2.它可以用于合并特征。当有一些信息相关性非常大的时候，我们可以用主成分分析法把它们合并成一个特征。 3.它
线性代数——PCA主成分分析计算步骤
snowdroptulip的博客
04-05 1万+
主成分分析线性代数概念复习向量的内积基协方差矩阵实对称矩阵特征值和特征向量主成分分析的计算步骤 本文不会深究原理，如果有时间我会把原理补上，这篇文章主要是讲主成分分析的计算步骤。 在开始详细介绍PCA算法前，我们先来复习一下线性代数中几个重要的概念 线性代数概念复习 向量的内积 假设a⃗=[a1a2...an]\vec{a}=\begin{bmatrix} a_1 \\ a_2 \\ ...\\...
主成分分析的计算方法
泉眼里的气泡
06-19 1万+
主成分分析（Principal Component Analysis，PCA），是通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。
主成分分析（principal component analysis, PCA）公式
kdazhe的博客
03-15 2万+
主成分分析（principal component analysis, PCA）公式主成分分析什么是主成分求解 PCA 的公式数学证明程序验证参考文献 主成分分析 什么是主成分 要进行主成分分析（principal component analysis），我们首先要理解什么是主成分。假设我们的数据（红色的点）如下图所示。 我们看到，每一个红色的点都有两个坐标，(x, y)(x, \, y)(x,...
SPSS主成分分析（PCA）
weixin_42191203的博客
04-01 1万+
1、导入数据 点击“文件”-“打开”-“数据”，选择要分析的数据文件“DATA.xlsx”。         2、进行主成分分析 点击“分析”-“降维”-“因子”，按下图提示进行相关操作。               3、运行结果            由“总方差解释”可知，特征根λ1=2.
主成分分析（PCA）详解（附带详细公式推导）
Ἥλιος
08-08 1万+
主成分分析（PCA）详解 第十一次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。这一篇的部分内容来自于网上资料，以及自己的一些见解。 预备知识： 这一部分首先介绍几何学中的投影长度计算以及线性代数中的协方差、矩阵的特征值与特征向量，最后介绍PCA的数据预处理和伸缩最大化问题。 计算投影长度 　　图中，红色点表示样例xixix_i...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值