基于python的PCA的实现（1）--原理

最新推荐文章于 2024-06-23 20:41:57 发布
最新推荐文章于 2024-06-23 20:41:57 发布
阅读量455 收藏
点赞数
文章标签： 机器学习 PCA 降维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ssssdbucdbod/article/details/78964826
版权

网上有很多关于python基于PCA的实现，但每一个都有各自的出彩之处，本人看起来挺麻烦的，想自己写一篇文章来总结一下自己的感悟。

Pca的原理：

这是一个二维的数据，我们想利用PCA将它降维成一维数据。


①我们首先将数据分成两个方向：U1.U2。我们可以看出U1的变化比U2 大，所以U1为主特征向量，U2为次特征向量。

 

②然后想样本点进行旋转，旋转的公式是 ，  就是样本点x在维度 U1上的投影的长度（幅值）。同样的，  是 X 投影到u2维度上的幅值。这样就可以得到下图：

③最后我们再降维，丢弃中后面（取值较小）的成分，就是将这些成分的值近似为零。如下图


这样就能得到下图


具体的算法以及数学证明见参考文献，里面有很好的证明过程。如果我们这是想要用PCA，可以不必太关注数学证明，但必须知道简单原理。

参考文献：

主成分分析


cuoguo_xin
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
用Python一步一步实现PCA
阿尔卑斯LOVE
03-20 3757
Requirements： Python环境部署：http://blog.csdn.net/luzhangting/article/details/61414485 PCA原理：http://blog.csdn.net/zhongkelee/article/details/44064401第一步：生成三维的样本数据 生成40个三维数据，分两类，每一类20个 第一类：均值[0,0,0],方差[
机器学习之主成分分析PCA（Python实现）
FutureBook
10-09 2428
当我们拿到一个数据集的时候，往往数据集中每一个样本的描述是多维的 例如鸢尾花数据集：http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data 数据集中对150个鸢尾花样本的描述：萼片长度，萼片宽度，花瓣长度，花瓣宽度 当我们读取数据时会读到一个 150x4 的矩阵 X(150x4)，但是四维的特征空间不便于我们或...
PCA的Python实现
大学之道，在明明德
11-16 3714
PCA的Python实现 pca讲解：http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020209.html python实现：http://blog.csdn.net/u012162613/article/details/42177327 """ 总的代码. Func: 对原始的特征矩阵进行降维, lowDataMat为降维之后返回新的特
PCA以及python的实现
最新发布
weixin_59049646的博客
06-23 657
PCA通过正交变换将一组可能相关性很高的变量转换为一组线性不相关的变量，这些新的变量称为主成分。在数学上，PCA通过保留低阶主成分，忽略高阶主成分，从而实现对数据的降维处理。PCA的主要应用包括数据压缩、噪声过滤、特征提取等。在许多机器学习和数据分析任务中，PCA被广泛用于降维，以减少数据的复杂性和提高算法的性能。
python主成分分析_PCA主成分分析Python实现
weixin_39616565的博客
11-28 499
PCA（principle component analysis） 。主成分分析，主要是用来减少数据集的维度，然后挑选出基本的特征。原理简单，实现也简单。关于原理公式的推导，本文不会涉及，你能够參考以下的參考文献，也能够去Wikipedia，这里主要关注实现，算是锻炼一下自己。本来是在复习LDA的，然后就看到了PCA。就跟着以下这篇文章的步骤，把PCA用python实现了一遍，详细的思想能够參考这...
Python 实现 PCA
jack__captain的博客
05-28 116
Python 实现 PCA （调用sklearn 和自己写 https://blog.csdn.net/u011473714/article/details/79745532 sklearn主页 https://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html#sklearn.decomposition.PCA
PCA实现代码（Python）
04-16
提供了PCA实现的代码，以及图片处理实例的代码，图片需要自己寻找且编号（16张，编号为01,02,...,16.jpg）
【机器学习系列】python版PCA（主成分分析）
SNS程飞的专栏
04-03 3710
简介 　　在用统计分析方法研究这个多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数 较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可 以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，建立尽可能少的 新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有
Python：PCA代码实现
DeniuHe的博客
06-26 624
import numpy as np from sklearn.decomposition import PCA from sklearn import datasets import matplotlib.pyplot as plt class PrincipalComponentAnalysis(object): def __init__(self,X=None, k=None): self.X = X self.k = k def fit(self.
python pca函数_在Python中实现PCA（基于特征向量）
weixin_33877700的博客
03-01 1289
我尝试用Python实现PCA。我的目标是创建一个行为类似于Matlab的PCA实现的版本。然而，我认为我错过了一个关键点，因为我的测试部分产生了错误符号(+/-)的结果。在你能找出算法的错误吗？为什么这些标志有时不同？在基于特征向量的PCA实现：new_array_rank=4A_mean = np.mean(A, axis=0)A = A - A_meancovariance_matrix =...
pca降维python实例_Python实现PCA降维
weixin_39636102的博客
12-03 924
特征降维之PCA特征降维是无监督学习的另一个应用，在图像识别方面，经常会遇到特征维度非常高的训练样本(像素矩阵)时，很难提供数据展现，训练学习模型也很耗时耗力，特征降维不仅重构了有效的低维度特征向量，也为数据展现提供了可能，其中主成分分析(Principal Component Analysis)是应用最广泛的特征降维技术。PCA简单来说，是一种特征选择(重构)手段，将原来的特征空间做了映射，使得...
基于python的PCA算法源代码
07-17
基于python的PCA算法源代码基于python的PCA算法源代码
Python实现PCA
10-27
自己用Python实现的PCA算法。Python3可直接导入数据运行。
python的PCA
xuyaoqiaoyaoge的博客
10-08 1223
PCA是主成分分析，用来降维，用少量的变量去解释大部分变量，使得原来相关的变成不相关的，独立的变量。sklearn.decomposition.PCA(n_components=None,copy=True,whiten=False)n_components保留下来的特征个数n，缺省是所有都保留。赋值为int就是要保留几个。赋值为‘mle’，自动选取，使得满足要求的方差满分比。 copy，True
主成分分析法（PCA）的理解（附python代码案例）
热门推荐
(:3|❀)我要睡觉了，请帮我关一下灯，谢谢
11-02 2万+
主成分分析（Principal Component Analysis, PCA）是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。换一种说法：PCA去除噪声和不重要的特征，将多个指标转换为少数几个主成分，这些主成分是原始变量的线性组合，且彼此之间互不相关，其能反映出原始数据的大部分信息，而且可以提升数据处理的速度。为什么会出现PCA呢？因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据。
用python做主成分分析(PCA)
zhansama的博客
09-17 8515
import相关工具箱： from sklearn.decomposition import PCA from sklearn.preprocessing import normalize L2-normalization（可选）: def l2_norm(data): for i in range(data.shape[0]): data[i, :] = nor...
PCA算法(python版本)
qhu1600417010的博客
08-08 1992
PCA算法求主方向和法向量
python实现PCA
weixin_42051109的博客
04-21 2万+
★ PCA个人理解： PCA降维是通过变换坐标系，来尽可能的减少信息损失。 ★ PCA思路： 我们的初始矩阵为X，它是m×n维的矩阵，其中：m是该数据集有m条记录，n是每条记录中有n个特征，X的基本格式为： 我们看出矩阵X每一行就是一条记录，每一列就是特征，我们想要对它降维...
PCA 原理及 Python 实现
lguduy的博客
12-19 1万+
PCA是机器学习中一个很重要的算法，这篇文章主要是对PCA算法的一个总结。
Python实现人脸识别：PCA与Fisherfaces
这份文档旨在教你如何使用Python实现Eigenfaces和Fisherfaces人脸识别方法，以便理解人脸识别的基本原理。尽管所有概念都有详尽的解释，但读者需要具备一定的Python基础。原本这个文档是一个基于OpenCV的面部识别...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值