主成分分析法原理及其python实现

最新推荐文章于 2024-05-14 14:48:55 发布
置顶 最新推荐文章于 2024-05-14 14:48:55 发布
阅读量2w 收藏 88
点赞数 8
分类专栏： 机器学习 python 文章标签： python pca 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaolewennofollow/article/details/46127485
版权

主成分分析法原理及其python实现

前言：

这片文章主要参考了Andrew Ng的Machine Learning课程讲义，我进行了翻译，并配上了一个python演示demo加深理解。

本文主要介绍一种降维算法，主成分分析法，Principal Components Analysis,简称PCA,这种方法的目标是找到一个数据近似集中的子空间，至于如何找到这个子空间，下文会给出详细的介绍，PCA比其他降维算法更加直接，只需要进行一次特征向量的计算即可。（在Matlab,python,R中这个可以轻易的用eig()函数来实现）。
假设我们给出这样一个数据集这里写图片描述代表m辆不同种类的汽车，每个数据点各个属性代表该类汽车的最大速度，转弯半径等等，假设对每个i都有这里写图片描述(n << m)但是有一点我们不知道，对于某些Xi和Xj来说，最大时速是用不同的单位给出的，一个是用mile/hour,一个是用kilometers/hour,这两个属性显然是线性相关的，至于有一些不同是因为在mph和kph之间的转换造成的，因此，数据其实是近似集中在一个n-1维的子空间里的，我们如何自动侦测并且移除这些冗余呢？

再举一个更加具体的例子，我们现在拥有一个由对遥控直升机飞行员的问卷调查得出的数据集，第i个数据点的第一个分量这里写图片描述代表该飞行员的飞行技巧，第二个分量这里写图片描述表示TA对飞行过程的享受程度，因为遥控直升机非常难以操控，所以只有那些真正享受这个过程的人才能成为一个好的飞行员，所以,这两个属性具有很强的关联性，，实际上，我们可以假设数据实际集中在看起来像是一个斜的坐标轴附近，我们可以把这个坐标轴直观理解为一个人与飞行的”缘分”，（这样的直观理解可以帮助理解PCA）,如下图所示，我们如何自动计算出u1这个方向呢？这里写图片描述

没错，计算u1这个方向的方法就是PCA算法，但是在数据集上运行PCA算法之前，通常我们要首先对数据进行预处理来标准化数据的均值和方差。下面是预处理过程：
这里写图片描述

<
最低0.47元/天 解锁文章
xiaolewennofollow
关注
  • 8
    点赞
  • 踩
  • 88
    收藏
    觉得还不错? 一键收藏
  • 15
    评论
专栏目录
主成分分析(PCA)原理分析&Python实现
Dfreedom.的博客
09-13 1万+
本文的侧重点是从理论上解释PCA每一个步骤理由，便于更加深刻地理解PCA，而不是单纯地机械式的码代码。
python数据分析-主成分分析
ql1314xjt的博客
03-18 1667
主成分分析就是一种通过降维技术把多个原始变量重新组合成少数几个互不相关的主成分（综合变量）的统计方法。这些主成分能够反映原始变量的绝大部分信息，通常表示为原始变量的某种线性组合。一、总体主成分例子：设x=（x1，x2，x3）T为40个随机生成的三维数据，其中x1～N（0，4），x2～N（2，1），x3～N（1，10）。试对该数据做主成分分析，求出x的特征值、特征向量及主成分的贡献率。
python进行简单的数据主成分分析
最新发布
weixin_65093045的博客
05-14 755
Pandas 是数据科学和分析领域中常用的工具之一，它使得用户能够轻松地从各种数据源中导入数据，并对数据进行高效的操作和分析。Pandas 提供了易于使用的数据结构和数据分析工具，特别适用于处理结构化数据，如表格型数据（类似于Excel表格）。中可以极大的节省我们编写代码的时间以及减少我们的代码量，使我们有更多的精力去分析数据分布，调整模型和修改超参。第三方提供的非常强力的机器学习库，它包含了从数据预处理到训练模型的各个方面。4、调用pca对象中的transform（）方法，返回提取的主成分。
主成分分析在python上的实现
03-24 4770
主成分分析（PCA）是一种基于变量协方差矩阵对数据进行压缩降维、去噪的有效方法，PCA的思想是将n维特征映射到k维上（k<n），这k维特征称为主成分，是旧特征的线性组合，这些线性组合最大化样本方差，尽量使新的k个特征互不相关。 协方差是描述不同变量之间的相关关系，协方差>0时说明 X和 Y是正相关关系，协方差<0时 X和Y是负相关关系，协方差为0时 X和...
python主成分分析_PCA主成分分析Python实现
weixin_39616565的博客
11-28 489
PCA（principle component analysis） 。主成分分析，主要是用来减少数据集的维度，然后挑选出基本的特征。原理简单，实现也简单。关于原理公式的推导，本文不会涉及，你能够參考以下的參考文献，也能够去Wikipedia，这里主要关注实现，算是锻炼一下自己。本来是在复习LDA的，然后就看到了PCA。就跟着以下这篇文章的步骤，把PCA用python实现了一遍，详细的思想能够參考这...
Python学习（3）---主成分分析（PCA）的基本原理及其Python实现
qq_35667901的博客
09-06 3807
一、降维的基本概念 对于实际分析过程中的高维数据，在进行具体的数据分析和特征建模之前，需要进行数据降维处理。降维是指通过某种方法从原始数据的N个特征中选取K个（K<N）进行数据表示，在减少数据信息丢失的前提下实现原始数据的压缩表示，其主要目的包括以下几点： （1）提高数据的使用率； （2）减低算法的计算开销（软件和硬件）； （3）去除干扰噪声； （4）提高分析结果的解释性。 现...
主成分分析_python_主成分分析_
09-28
在Python中，我们通常使用`sklearn.decomposition`模块中的`PCA`类来执行主成分分析。这个类提供了完整的PCA流程，包括数据预处理、主成分计算和降维。下面是一段基本的PCA使用示例： ```python from sklearn....
数据压缩预备知识（二）主成分分析法及其python实现
01-06
主成分分析法（PCA）主要应用于数据降维。其思想是使用较少的变量来取代原先较多的变量，以实现节省数据量的效果。需要指出，若原始变量之间互相正交，即线性无关，则主成分分析法没有效果。 二、原理 假定有n个样本...
主成分分析法的具体实现PCA.ipynb
07-10
主成分分析法在实际中非常常见，这里我们使用随机生成样本进行它的python实现，这里的实现过程完全采用该博客另一篇文章——《[深度学习]数学基础之线性代数》。
核主成分分析KPCA,核主成分分析 matlab,Python
09-10
核主成分分析法，使用python实现。应对非线性数据，先使用核技巧映射高维使之线性可分，之后再用PCA方法将高维降到低维，理论上可从无穷维降到一维或二维，将数据变为线性可分。此程序中既包含了手工制作的KPCA全...
PCA主成分分析法_特征提取,pca主成分分析应用,Python
09-10
PCA，python实现，包含手工写的PCA完整实现过程，以及直接从sklearn调用包进行PCA降维，前者可以帮助理解PCA的理论求解过程，后者可以直接替换数据迅速上手，里面还包含一个案例，降维到二维空间以后的散点图。...
主成分分析(PCA)python实现(含数据集)
12-15
主成分分析(PCA)python实现(含数据集)，结构清晰，适合初学者
python主成分分析_使用Python说明主成分分析(PCA)
weixin_39878698的博客
11-28 870
介绍PCA是基本的降维技术，它可以帮助我们减少数据集的维度并排除不需要的特征。当数据集具有数百个维度时，PCA非常重要。由于我们无法想象超过3个维度，因此有必要减少维度以使数据可视化。什么是主成分？PCA是一种数学工具，有助于将数据集的维度/相关变量/特征从大量变为较小的不相关变量。在这个过程中，丢弃的特征是不能充分解释数据的特征，并保留更多解释数据的特征，因此称为主要组件。PCA最终如何降低维度...
主成分分析理论和python代码
qq_45181462的博客
06-21 1896
主成分分析python实现
用Python的sklearn库进行PCA（主成分分析）
热门推荐
puredreammer的博客
08-20 15万+
在python的sklearn的库里面集成很多机器学习算法的库，其中也包括主成分分析的方法。 接下来讲讲怎么在python里面使用pca算法 首先要导入库： from sklearn.decomposition import PCA 下面是官网上的例子： >>> X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3
python sklearn PCA 实例-主成分分析
rankiy的博客
08-21 1万+
python sklearn decomposition PCA 主成分分析 主成分分析（PCA） 1、主成分分析（Principal Component Analysis,PCA）是最常用的一种降维方法， 通常用于高维数据集的探索与可视化，还可以用作数据压缩和预处理 2、PCA可以把具有相关性的高维变量合成为线性无关的低维变量，称为主成分。 主成分能够尽可能保留原始数据的信息 3、概念 方差：用...
主成分分析 python, sklearn
天天向上的专栏
06-24 1万+
六月份似乎太忙，将近一个月没有写博客，于是挑一个多元统计分析中的方法写一篇 python 操作实现的。 主成分分析（Principle Component Analysis, PCA）是数据降维的一个方法：原始的统计数据中有很多变量，可以采用主成分分析方法将原始数据降维为少数几个变量的数据。 主成分分析的求解一般采用特征根分解，即求解原始数据协方差矩阵或相关系数矩阵最大特征根对应的特征向量，即为第一主成分，第二主成分为第二大特征根对应的特征向量，其他的主成分可以依次得出。主成分贡献率为对应特征根占所有特征根
主成分分析法（PCA）原理和步骤
吴建明wujianming_110117
01-30 2万+
主成分分析法（PCA）原理和步骤 主成分分析（Principal Component Analysis，PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据，转换为一组线性不相关的变量，转换后的变量被称为主成分。 可以使用两种方法进行 PCA，分别是特征分解或奇异值分解（SVD）。 准备工作 PCA 将 n 维输入数据缩减为 r 维，其中 r<n。简单地说，PCA 实质上是一个基变换，使得变换后的数据有最大的方差，也就是通过对坐标轴的旋转和坐标原点的平移，
主成分分析（PCA）的原理与实现
weixin_40163266的博客
02-25 867
主成分分析（PCA）的原理与实现 问题背景 Iris 鸢尾花数据集是一个经典数据集，在统计学习和机器学习领域都经常被用作示例。如下图所示，数据集内包含 3 类共 150 条记录，每类各 50 个数据，每条记录都有 4 项特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度，可以通过这4个特征预测鸢尾花卉属于（iris-setosa, iris-versicolour, iris-virginica）中的哪一品种。如何预测并可视化？ 再比如，人脸是由许多像素组成的高维数据。高维数据很难处理，因为不能用二维数据的散点
主成分分析法python代码
07-17
好的，以下是主成分分析法的 Python 代码： ```python import numpy as np from sklearn.decomposition import PCA # 创建一个数据集，有 4 个变量，10 个样本 X = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12], [13, 14, 15, 16], [17, 18, 19, 20], [21, 22, 23, 24], [25, 26, 27, 28], [29, 30, 31, 32], [33, 34, 35, 36], [37, 38, 39, 40]]) # 创建 PCA 模型，n_components=2 表示要降维到 2 维 pca = PCA(n_components=2) # 使用 PCA 模型拟合数据 pca.fit(X) # 得到降维后的数据 X_new = pca.transform(X) # 打印降维后的数据，即主成分分析后的结果 print(X_new) ``` 运行代码后会得到一个 10x2 的矩阵，其中每行代表一个样本在新的两个主成分上的投影结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值