算法：PCA的理解

最新推荐文章于 2023-06-22 12:54:38 发布
最新推荐文章于 2023-06-22 12:54:38 发布
阅读量412 收藏 2
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014359903/article/details/82384769
版权
PCA（主成分分析）通过求协方差矩阵的特征值和特征向量实现数据降维。步骤包括数据零均值化、计算协方差矩阵、对角化协方差矩阵等。特征值越大，对应的特征向量方向上的方差和信息量越大。通过选取大特征值的特征向量，PCA能减少数据量的同时保留主要信息。
摘要由CSDN通过智能技术生成

PCA算法步骤总结：

设有m条n维数据，这里比较糊涂就是按行组织样本还是按列组织样本，下面是按行组织样本：
1）将原始数据按行组成n行m列矩阵X，代表有n个数据，每个数据m个特征
2）将X的每一列（代表一个属性字段）进行零均值化，即减去这一列的均值
3）求出协方差矩阵C=1/n* XXT（不同维度之间的协方差，而不是不同样本之间）
4）求出协方差矩阵的特征值及对应的特征向量
5）将特征向量按对应特征值大小从上到下按列排列成矩阵，取前k列组成矩阵P
6）Y=XP即为降维到k维后的数据

A  协方差矩阵的定义：

对n个维度，任意两个维度都计算一个协方差，组成矩阵，定义如下

 

 

直观的对于一个含有x,y,z三个维度的样本，协方差矩阵如下

最低0.47元/天 解锁文章
爱计算机的程序媛
关注
机器学习中的数学基础：(3)主成分分析（PCA）及其应用
m0_37957160的博客
04-01 2221
主成分分析主要用于数据的降维？什么是降维？ 比如说有如下的房价数据： 这种一维数据可以直接放在实数轴上： 房价样本数据用X表示，则以上数据的均值为： 以均值为原点： 将上述表格以均值，做“中心化”处理，再求方差。 中心化之后看到数据分为两类： 接下来新增加房屋面积，可以看到两者正相关（此例是理想情况下，房价和面积完全成正比，所以会在一条直线上），有一列数据就是多余的...
基于C++实现的主成分分析法（PCA）和K-NN聚类算法：完整过程和实例
最新发布
m0_57781768的博客
06-14 560
主成分分析法（Principal Component Analysis，PCA）是一种常用的数据降维技术。它通过线性变换将原始数据映射到新的坐标系中，使得数据在新坐标系中的投影方差最大，从而实现降维和特征提取。K-近邻（K-Nearest Neighbors，K-NN）算法是一种简单的分类和聚类算法。它通过计算样本之间的距离，找到距离待分类样本最近的k个邻居，然后根据这些邻居的类别决定待分类样本的类别。K-NN算法具有简单、直观、无需训练等优点，但计算效率较低，适用于小规模数据集。
机器学习——PCA降维（我至今为止遇见的最好的博文）
邹小驴
09-07 5万+
参考文章：https://zhuanlan.zhihu.com/p/77151308 PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。 PCA 的数学推导可以从最大可分型和最大重构性两方面进行，前者的优化条件为划分后方差最大，后者的优化条件为点到划分平面距离最小。由于基于最大重构性的 PCA 其与...
机器学习算法钻取: PCA
一直在路上
04-06 993
一、PCA作用(意义, 为啥要提出这个东西?) 大概主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。 二、PCA核心思想 最大可分性：样本点在这个超平面上的投影能尽可能的分开 三、PCA算法流程 1、本质上而言, PCA是一种基变换的方法, 只是在变换的时候, 对基有“最大可分性”...
【机器学习】十大算法之一 “PCA”
Code_and516的博客
06-22 3660
PCA（Principal Component Analysis，主成分分析）是一种广泛使用的线性降维算法，在机器学习领域被广泛应用。通俗地说，它是一种通过将高维数据映射到低维数据，保留数据主要特征的方法。在PCA中，数据被投影到一个新的低维抽象空间中，使新的特征集能最大化地解释数据集的方差，我们可以选择保留最大方差的前k个特征值。通常，PCA被用于降维，但它也被用作一种特征提取算法。在本文中，我们介绍了PCA算法的基本原理，讨论了它的应用，以及在Python中如何实现。
降维算法实战项目（1）—使用PCA对二维数据降维（Python代码+数据集）
wzk4869的博客
07-30 6012
降维算法实战项目（1）—使用PCA对二维数据降维（Python代码+数据集）
四大机器学习降维算法：PCA、LDA、LLE、Laplacian-Eigenmaps.pdf
07-10
本文将深入探讨四种常用的降维算法：主成分分析(PCA)、线性判别分析(LDA)、局部线性嵌入(LLE)和拉普拉斯特征映射(Laplacian Eigenmaps)。 1. 主成分分析(PCA) PCA是最基础的线性降维方法，其核心思想是寻找数据最大...
实验一：PCA算法1
08-08
PCA（主成分分析）是一种广泛应用于数据分析的线性...PCA算法不仅简化了数据处理，还能够揭示数据的内在结构，对于理解和压缩图像数据非常有用。在实际应用中，PCA也被广泛用于特征提取、噪声过滤和数据可视化等领域。
PCA-Preprocessing:PCA 作为数据分析的预处理工具
07-03
6. 分析结果：在PCA处理后，可以观察各个主成分的贡献度，理解数据的主要结构，并可能发现潜在的模式或异常值。此外，PCA还可以用于可视化，比如二维或三维的散点图。 项目“PCA-Preprocessing-master”很可能包含...
从算法过程来粗略了解PCA及python实现
pjs的博客
12-16 285
从算法过程来粗略了解PCA及python实现 算法过程： （参考机器学习231页） 每一步过程分析： 1.这里采用数据中心化 数据中心化:是指变量减去它的均值。 #数据标准化:是指数值减去均值，再除以标准差。 目的:通过中心化和标准化处理，得到均值为0，标准差为1的服从标准正态分布的数据。 标准化可以使得不同的特征具有相同的尺度（Scale） 2.计算协方差矩阵（由百度百科） 3.对协方差矩阵...
K-SVD详解
counting_stars123的博客
03-15 4506
K- SVD :为稀疏表示设计过完备字典 1.稀疏表示 我们现在有: 一个样本向量y = [y1,y2,y3,…,yn]. 一个字典D (size:n×M) 其中，D中的每一列 称为D的原子。 稀疏表示就是要用D的原子的线性组合来将y表示出来。换句话说，就是要解y=Dx这个方程组，并且这个x向量中的0元素越多越好（0越多越稀疏）。 但是，因为D的列数M远大于行数n（这就是所谓的过完备），学过线性...
八、【机器学习作业】K-means聚类 & 降维PCA（python版ex7）
Liaojiajia-Blog
08-27 2694
K-means聚类 & 降维PCA（一）K-均值聚类 K-means Clustering（1）运行K-均值 Implementing K-means（2）在数据集上使用K-均值 K-means on example dataset（3）随机初始化 Random initialization（4）K-均值图像压缩 Image compression with K-means（二）主成分分析...
PCA算法详解——化繁为简
weixin_44167798的博客
08-30 1万+
一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 一、前言 老鹰是一个三维立体实物，而图片是二维的，但我们能一眼识别出上图是一只老鹰而非鹌鹑，可见对于某些高维的数据，我们可以在低维空间下识其概貌，对其有个清晰的认知。然而，当我们沿老鹰翅尖拍摄一张照片，我们可能并不能很容易地看出这是一只老鹰。归其原因，拍摄的角度不同，导致最终的结果不同，在第一种情况下，图片保留...
特征提取之PCA
AcceptedLin的博客
09-25 5977
PCA 算法也叫主成分分析（principal components analysis），主要是用于数据降维的。 为什么要进行数据降维？因为实际情况中我们的训练数据会存在特征过多或者是特征累赘的问题，比如： PCA算法就是用来解决这种问题的，其核心思想就是将 n 维特征映射到 k 维上（k PCA原理 关于为什么
PCA的数学原理
wxing2008666的专栏
06-28 6509
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。 当然我并不打算把文章写成纯数
特征选择和特征提取
weixin_34306593的博客
10-18 1150
参考文献1：PCA的数学原理（讲得极好） 参考文献2：《机器学习导论》 题外话：　　 　　上次，参加国内业界最牛逼之一的格林深瞳的笔试和面试，没想到竟然都通过了。高兴之余，实际上，还有很长的路要走。 　　说实话，也是有点幸运，出了很多毕设相关的视觉知识。毕设做得很认真，然后面试时，我自然和面试的那位年轻小伙讲得滔滔不绝。但是第二关是相关的机器学习和深度学习的知识。机器学习我能答上，深...
python下PCA算法与人脸识别
我爱智能
07-25 1万+
关于这部分主要是想在python下试验一下主成分分析（PCA）算法以及简单的人脸识别。曾经详述过matlab下的PCA以及SVM算法进行人脸识别技术，参考如下：主成分分析法-简单人脸识别（一）主成分分析-简单人脸识别（二）PCA实验人脸库-人脸识别（四）PCA+支持向量机-人脸识别（五）主成分分析（PCA）算法主要是对高维数据进行降维，最大限度的找到数据间的相互关系，在机器学习、数据挖掘上很有用。在
主成分分析(PCA)原理及推导
热门推荐
学无常师，负笈不远险阻
12-30 9万+
在数据挖掘或者图像处理等领域经常会用到主成分分析，这样做的好处是使要分析的数据的维度降低了，但是数据的主要信息还能保留下来，并且，这些变换后的维两两不相关！至于为什么？那就接着往下看。在本文中，将会很详细的解答这些问题：PCA、SVD、特征值、奇异值、特征向量这些关键词是怎么联系到一起的？又是如何在一个矩阵上体现出来？它们如何决定着一个矩阵的性质？能不能用一种直观又容易理解的方式描述出来？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值