主成分分析（降维）

最新推荐文章于 2024-08-11 23:49:39 发布
最新推荐文章于 2024-08-11 23:49:39 发布
阅读量1.2w 收藏 17
点赞数
分类专栏： 机器学习 文章标签： 主成分分析 特征分解 奇异值分解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/keithic/article/details/81357276
版权
本文详细介绍了主成分分析（PCA）的原理和步骤，用于高维数据降维，最大化低维空间中的方差。PCA通过计算协方差矩阵的特征值和特征向量实现，选择最大的n'个特征值对应的特征向量形成新坐标系。此外，还探讨了奇异值分解（SVD）的过程，并比较了PCA与SVD的区别。
摘要由CSDN通过智能技术生成

数据量太大时往往会有相关性较高的维度，给建模计算带来不必要的开支。

算法步骤：

输入：n维样本集D=(x^{(1)}, x^{(2)},...,x^{(m)})，要降维到的维数n'.

　　　　输出：降维后的样本集D'

　　　　1) 对所有的样本进行中心化： x^{(i)} = x^{(i)} - \frac{1}{m}\sum\limits_{j=1}^{m} x^{(j)}

　　　　2) 计算样本的协方差矩阵XX^T

　　　　3) 对矩阵XX^T进行特征值分解

　　　　4）取出最大的n'个特征值对应的特征向量(w_1,w_2,...,w_{n'}), 将所有的特征向量标准化后，组成特征向量矩阵W。

　　　　5）对样本集中的每一个样本x^{(i)},转化为新的样本z^{(i)}=W^Tx^{(i)}

　　　　6) 得到输出样本集D' =(z^{(1)}, z^{(2)},...,z^{(m)})

推导：

PCA思想：

  •         将高维数据投影至低维空间，从而减少获得源数据的主要特征。
  •         获得低维转换的方法：在低维空间里方差最大。

有mXn维数据(x^{(1)}, x^{(2)},...,x^{(m)})，对其去中心化，\sum\limits_{i=1}^{m}x^{(i)}=0。设新坐标系正交基为

最低0.47元/天 解锁文章
keithic
关注
专栏目录
机器学习算法之------PCA主成分分析（降维）
weixin_41697507的博客
02-09 690
PCA主成分分析（降维） 1、用处 数据压缩（Data Compression）,使程序运行更快 可视化数据，例如3D–>2D等 2、2D–>1D，nD–>kD 如下图所示，所有数据点可以投影到一条直线，是投影距离的平方和（投影误差）最小 注意数据需要归一化处理 思路是找1个向量u,所有数据投影到上面使投影距离最小 那么nD–>kD就是找k个向量u(1),u(2)…u...
机器学习降维之主成分分析法（PCA）
count_on_me的博客
09-04 4832
主成分分析（principal component analysis）也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标（即主成分），其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复。 PCA主要思想 PCA的基本原理就是将一个矩阵中的样本数据投影到一个新的空间中去。当把所有的数据 都投射到该新空间时，我们希望平均方误差能尽可地小。 PCA主要步骤 将原...
降维-主成分分析
zyy848877920的博客
01-10 888
一、降维动机： 1.1、数据压缩：占内存小，可加快学习算法 下面举个小例子： 将数据从二维降至一维: 假使我们要采用两种不同的仪器来测量一些东西的尺寸，其中一个仪器测量结果的单位是英寸，另一个仪器测量的结果是厘米，我们希望将测量的结果作为我们机器学习的特征。现在的问题的是，两种仪器对同一个东西测量的结果不完全相等(由于误差、精度等)，而将两者都作为 特征有些重复，因而，我们希望将这个二维的数
主成分分析（PCA）降维
m0_62501000的博客
12-31 3627
在机器学习和数据分析领域，主成分分析（PCA）是一种常用的降维技术，旨在减少数据维度并保留主要信息。通过将高维数据映射到低维空间，PCA使得数据更易于可视化、理解和处理。本文将深入探讨PCA的原理、应用和实现。通过去除冗余信息，减少数据的维度，提高计算效率和模型训练速度。选择主成分相当于选择了原始特征中最具代表性的信息，有助于提取关键特征。PCA可以帮助去除数据中的噪音，提高模型的鲁棒性。PCA基于线性变换，可能无法很好地处理非线性关系。对异常值敏感，可能受到极端值的影响。
主成分分析(PCA)
最新发布
blinkyou001的博客
08-11 4132
本文讲解了主成分分析（PCA）的基本原理，并利用python进行了实例演示。
机器学习笔记（九）——数据降维：主成分分析法（PCA）
热门推荐
weixin_43312354的博客
04-22 7万+
一、主成分分析法（PCA）思想及原理 （一） 什么是主成分分析法 PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法（非监督的机器学习方法）。 其最主要的用途在于“降维”，通过析取主成分显出的最大的个别差异，发现更便于人类理解的特征。也可以用来削减回归分析和聚类分析中变量的数目。 （二）为什么要做主成分分析 在很多场景中需要对多变量...
PCA主成分分析（降维）
起飞的木木的博客
03-25 1万+
PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第...
主成分分析降维代码（直接调用版）_主成分分析降维代码_降维_
09-28
在给定的“主成分分析降维代码（直接调用版）”文档中，我们可以预期找到一个完整的MATLAB实现，用于执行PCA操作。MATLAB是一个强大的数值计算和编程环境，特别适合处理矩阵和数组操作，因此它是进行PCA的理想选择。...
KPCA_KPCA_KPCA降维_kca_核主成分_降维_
10-03
**KPCA（Kernel Principal Component Analysis，核主成分分析）** KPCA是一种非线性数据分析方法，它是主成分分析（PCA）的扩展。PCA是通过线性变换将原始高维数据转换到一个新的坐标系中，使得新的坐标系里的数据...
MATLAB算法主成分分析降维代码直接调用版
04-15
在MATLAB环境下，主成分分析降维通常使用内置函数进行，如`pca`函数，它可以直接对数据集进行处理，并提取主成分。降维后的数据通常会保留大部分原始数据的变异信息，这样就可以在减少数据量的同时，尽量不丢失重要...
主成分分析 降维方法
07-22
主成分分析是模式识别领域的一个重要的降维方法
主成分分析法降维处理
02-27
采用主成分分析法对图像特征进行降维处理，有实验数据，得能出实验结果
PCA主成分分析（PCA降维）
褪色的博客
05-25 4097
PCA（Principal Components Analysis，主成分分析），作为一种降维技术，使数据更易用于分析数据集建立数据模型。PCA是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k（k
主成分分析（降维）案例介绍
qq_57099024的博客
10-13 732
主成分分析（降维）案例介绍
PCA主成分分析OpenCV中实现图片降维分类
花开莫与流年错_的博客
03-28 5908
OpenCV中使用PCA主成分分析，将图片降维分类
降维:主成分分析(PCA)
pan_haufei的博客
04-25 644
定义：可以将特征向量投影到低维空间，实现对特征向量的降维 步骤： 1.数据预处理。这里预处理包含俩个部分：均值归一化和属性范围调整。均值归一化是相应属性减去平均值；而属性范围则在归一化基础上初一属性方差。 2.计算特征之间的协方差矩阵。该矩阵是一个n*n的对称矩阵。 3.计算协方差矩阵的特征值和特征向量。 4.将特征值从大到小排序。 5.保留最上面的N个特征向量。 6.将原数据映射到
秒懂数据降维——主成分分析PCA
gjinc的博客
06-20 4913
主成分分析（Principal Component Analysis，简称 PCA）是一种常用的数据降维方法，旨在通过将高维数据投影到低维空间中的主要方向来捕获数据的本质结构。主成分分析可用于降低数据的维度，压缩图像、音频和视频数据，去除冗余信息等。
PCA（主成分分析）降维算法
helluy的博客
08-29 217
在主成分分析中，若有一低维平面能有效提取原数据信息，则它应一般满足最大可分性：样本点在这一低维平面的投影尽可能分开，也就是方差最大原则。先将数据规范化（中心化），即均将所有点的横坐标均值与纵坐标均值变成0，处理方法为每个点的横坐标减去所有点横坐标均值，纵坐标同理。，也就是在特征向量方向轴上的投影长度方差，方差越大，可以认为，含有原数据信息量越全面。，即原数据在对应特征向量方向轴上的方差就是该特征向量对应的特征值!可以看出，特征值越大，方差越大，对原数据的信息保留越全面。方向轴上的坐标，形状为nx1，此时。
matlab主成分分析降维
07-28
下面是一个简单的示例代码，展示如何使用Matlab进行主成分分析降维： ```matlab % 假设有一个包含m个样本和n个特征的数据矩阵X X = [x1, x2, x3, ..., xn]; % 对数据进行中心化处理 X_centered = X - mean(X); % ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值