机器学习——PCA主成分分析法

最新推荐文章于 2024-06-02 18:21:33 发布
最新推荐文章于 2024-06-02 18:21:33 发布
阅读量901 收藏 23
点赞数 22
文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72115396/article/details/135329215
版权

目录

一、主成分分析的概念

二、主成分分析的步骤

三、主成分分析PCA的简单实现

四、手写体识别数字降维

一、主成分分析的概念

主成分分析（PCA）是一种常用的数据降维方法，可以将高维数据转换为低维空间，同时保留原始数据中最具代表性的信息。在数学建模中，PCA可以应用于多个领域，例如金融、医学、自然语言处理等。

x∈R2⟶z∈R

在实际的数学建模中，降维操作是很常用的。

比如在图像处理中，如果要识别人脸，需要将每张图像表示为一个向量，每个元素代表图像中某个像素点的灰度值。由于每张图像的像素数量很大，可能成百上千万甚至更多，这会导致计算和存储成本非常高。

在这种情况下，可以使用PCA对这些向量进行降维，将每张图像表示为一个包含较少元素的向量，从而使得计算和存储成本大大降低。同时，PCA还能够从这些低维向量中提取出最具代表性的信息，以便于后续s的人脸识别任务。

二、主成分分析的步骤

1、数据预处理

中心化

X−Xˉ

2、求样本的协方差矩阵

m1​XX^T

其中协方差描述两个数据的相关性，接近1为正相关，接近-1为负相关，接近0为不相关。两个数据的协方差计算公式如下：

cov(X,Y)=\frac{\sum_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}{n-1}

3、对协方差矩阵做特征值分解

4、选出最大的K个特征值对应的K个特征向量

5、将原始数据投影到选取的特征向量上

6、输出投影后的数据集

三、主成分分析PCA的简单实现

首先我们有一个二维数据长这样

我们需要将这个二维数据变为一维数据

代码如下：

1、首先载入数据查看我们数据的分布情况

对应上面的步骤和公式，将数据中心化

2、求协方差矩阵

3、求矩阵的特征值和特征向量

4、对特征值排序

5、取最大的top个特征值下标

最大的n个特征值对应的特征向量

6、特征空间的数据

四、手写体识别数字降维

引入sklearn中的手写数字识别

接下来部分代码如下

m0_72115396
关注
  • 22
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
理解主成分分析法
06-26
主成分分析法 (PCA) 是一种常用的数据分析手段。对于一组不同维度 之间可能存在线性相关关系的数据，PCA 能够把这组数据通过正交变换变 成各个维度之间线性无关的数据。经过 PCA 处理的数据中的各个样本之间 的关系往往更直观，所以它是一种非常常用的数据分析和预处理工具。PCA处理之后的数据各个维度之间是线性无关的，通过剔除方差较小的那些维度上的数据我们可以达到数据降维的目的。在本文中，SIGAI将介绍PCA 的原理、应用以及缺陷。
特征脸(Eigenface)理论基础之PCA主成分分析法
12-24
在之前的博客 人脸识别经典算法一：特征脸方法（Eigenface）里面介绍了特征脸方法的原理，但是并没有对它用到的理论基础PCA做介绍，现在做补充。请将这两篇博文结合起来阅读。以下内容大部分参考自斯坦福机器学习课程：http://cs229.stanford.edu/materials.html 假设我们有一个关于机动车属性的数据集{x(i);i=1,…,m}（m代表机动车的属性个数），例如最大速度，最大转弯半径等。假设x(i)本质上是n维的空间的一个元素，其中n<<m，但是n对我们来说是未知的。假设xi和xj分别代表车以英里和公里为单位的最大速度。显然这两个属性是冗余的，因为它们两个是有线性
机器学习——PCA主成分分析
diosamaehjs的博客
01-01 865
在机器学习领域，特征维度约减是一个重要的技术。随着数据集的增大和特征的增加，高维数据分析变得越来越具有挑战性。为了解决这个问题，我们需要一种有效的方法来减少特征维度，同时保留数据的最重要信息。
Sklearn——PCA主成分分析
m0_37634594的博客
12-28 1999
Sklearn——PCA主成分分析1.特征降维2.特征选择和特征降维的区别3.常用降维算法4.sklearn中PCA算法函数主成分分析 (PCA)不同主成分个数对应的可解释方差分析(Explained Variance)5 sklearn中的其他降维算法函数6 sklearn中的fit、transform、fit_transform、inverse_transform1. 数据预处理中方法2. 各种算法的方法 1.特征降维 降维实际上就是把高维空间的数据转换映射到低维空间中，从而达到降低数据维度的目的，降维
机器学习基础——PCA主成分分析算法
夏未眠秋风起的博客
04-02 874
1.背景 PCA算法主要用于降维，将高维的特征映射到低维的空间中。假设，我没有20个数据，每个数据特征100维，即(20,100)。通过降维，我们可以将将100维的特征降到10维，即(20,10）这样就大大减小了计算量。 一般，降维后的特征数不超过样本数 2.算法步骤 将每个特征进行零均值化，即每个特征减去该特征的均值，比如上面的例子(20,100)有100个特征，对每一列求均值 ...
机器学习(四)——PCA主成分分析
hhhcbw的博客，欢迎各位来访
12-01 2366
引言 我们在完成一个机器学习任务比如线性回归，所使用数据的维度可能非常高(训练测试耗时大且占内存大)，或者属性之间可能具有相关性，比如奖学金和绩点（奖学金也反映了绩点的情况），这就会造成数据的冗余。这时我们就可以用到 PCA(Principal components analysis)主成分分析，来对数据进行降维，减小数据的冗余。 PCA的思想 当然，PCA 不是简单地选择几个属性或者说是去除几个属性，它是综合考虑了所有属性，确定出几个主成分（或者说是新的属性），这个主成分可以说是原始属性的综合。 所以
机器学习算法——主成分分析（PCA）
huangQK的博客
01-01 1530
主成分分析（Principal Component Analysis, PCA）是一种常用的数据降维方法，它可以将高维数据转化为低维数据，同时尽量保留原有数据的信息。
机器学习——PCA（主成分分析）与人脸识别
热门推荐
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
03-30 3万+
本篇博客主要介绍PCA（主成分分析）算法并将PCA用于人脸的重构、识别、图像降维可视化（内附数据集与matlab代码）
机器学习——主成分分析（PCA）
linzixi0220的博客
12-30 1313
给定n个样本（每个样本的维度为p维）​​​​​​​定义为样本在第一主成分/主方向上的投影：其中和都是用向量表示的：每个样本都对应一个，两个向量进行内积运算就能将映射到方向上，，如果将的模约束为1，那么​​​​​​​​​​​​​​和的内积就是，即​​​​​​​样本在主方向上的投影。（为什么是，如果我没理解错的话，和都是列向量，两个向量的内积应该就是第一个转置成行向量与第二个列向量相乘）主成分分析的目标是找到，使得的方差最大，同时要满足约束条件。
机器学习之主成分分析PCA数据降维
01-20
1 基本概念 PCA即主成分分析技术。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。 在统计学中，主成分分析PCA是一种简化数据集的技术。...1.主成分分析使用的是梯度上升法
pca-主成分分析.zip
05-11
简单的PCA实现
PCA（主成分分析法）
02-24
PCA（主成分分析法）
『机器学习』 ——主成分分析法（PCA）
Peter_Huang0623的博客
11-19 2248
主成分分析法 一个非监督学习的机器学习算法 主要用于数据的降维 通过降维，可以发现更便于人类理解的特征 其他应用：可视化；去噪 1 主成分分析法 1.1 什么是主成分分析法 举一个简单的例子，上面的图片中这组数据具有两个特征分别为特征一和特征二，我们如果只考虑其中的一个特征的话，那么就需要将这组数据投影到X轴（特征1） 或Y轴（特征2）上。 比较两种投影结果，我们认为第一种（投影至X轴...
【patchwork++】——PCA主成分分析法
DFminer
05-07 227
降维算法——>保留最大有用值信息——>换坐标轴，找坐标系。首先：去中心化（把坐标原点放在数据中心）然后：找坐标系（找到方差最大方向）注意：离群点对PCA影响较大。数据线性变换：拉伸，旋转。
【机器学习300问】102、什么是混淆矩阵？
qq_39780701的博客
05-28 1396
一、混淆矩阵的定义。二、评估分类模型性能的三个级别指标。
强化学习——学习笔记3
qq_52302919的博客
05-29 1728
先上图：在上述流程图中所说的Q表即为下表：假设我们在玩一个小游戏，该游戏有上下左右不同的动作，同时也会有不同的状态，比如游戏结束等。Q表也可以称为状态-价值函数QsaQ(s,a)Qsa：这个表格的每一行代表每个 state上述例子中的游戏结束等，每一列代表每个 action上述例子中的上下左右，表格的数值就是在各个 state 下采取各个 action 时能够获得的最大的未来期望奖励。
pytorch学习笔记5
最新发布
drarad的博客
06-02 1266
前向钩子（forward hook）在模块的前向传播开始时触发，前向后钩子（forward pre-hook）在前向传播之前触发，反向钩子（backward hook）在反向传播过程中触发。总结来说，钩子提供了一种在 PyTorch 模型的执行过程中插入自定义代码的方法，使得用户可以灵活地调试、监控和扩展模型的功能。作用: 这是一个内部的 C 语言指针，指向张量在底层库（通常是 C++ 实现的 PyTorch 核心）中的具体数据结构。这些钩子可以在张量的梯度计算之前或之后执行自定义的操作。
AI推文神器，绘唐ai，文刻创作出品，sdmj二合一虹猫
2401_84285498的博客
05-28 765
然而，值得注意的是，AI推文神器虽然能够生成高质量的推文内容，但仍然需要人类的审查和修改。因为它虽然能够模仿人类的写作风格，但仍然无法完全理解人类的情感和语境，因此在使用AI推文神器时，人类编辑和审阅的角色仍然十分重要，以确保推文的准确性和符合品牌形象。AI推文神器的工作原理是通过自然语言处理和机器学习算法，将用户输入的关键词、主题或简要描述转化为语义信息，然后结合相关数据和模型，生成相应的推文内容。它通过分析大量的文字和数据，学习并模仿人类的写作风格和推文技巧，从而能够生成独特、有吸引力的推文内容。
机器学习主成分分析法
09-26
主成分分析（PCA）是一种用于降维和数据压缩的机器学习算法。它可以找到数据中最重要的特征（主成分），并将数据转化为这些主成分的线性组合。通过PCA，我们可以减少数据的维度，同时保留尽可能多的信息。 在PCA中，求解下一个主成分的步骤是将数据在已求得的前一个主成分上的分量去掉，然后在新的数据上求解主成分。这样做是为了确保每个主成分都是与前一个主成分正交的。这个过程可以通过减去数据在前一个主成分上的投影来实现。 使用PCA进行去噪的步骤如下： 1. 导入PCA库：from sklearn.decomposition import PCA 2. 创建PCA对象：pca = PCA(0.5) （这里的0.5表示保留50%的方差） 3. 拟合数据：pca.fit(noisy_digits) 4. 获取选取的主成分数目：pca.n_components_

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值