主成分分析（PCA）与Kernel PCA

最新推荐文章于 2024-08-11 23:49:39 发布
最新推荐文章于 2024-08-11 23:49:39 发布
阅读量3.7w 收藏 140
点赞数 36
分类专栏： 机器学习之道 文章标签： 主成分分析 PCA Kernel KPCA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baimafujinji/article/details/79376378
版权
本文深入探讨PCA原理，包括如何通过坐标系旋转消除数据冗余，最大化方差以保留主要信息。并介绍了Kernel PCA，利用核函数在目标空间中求解，增强了PCA在高维数据处理中的能力。
摘要由CSDN通过智能技术生成

本博客在之前的文章【1】中曾经介绍过PCA在图像压缩中的应用。其基本思想就是设法提取数据的主成分（或者说是主要信息），然后摒弃冗余信息（或次要信息），从而达到压缩的目的。本文将从更深的层次上讨论PCA的原理，以及Kernel化的PCA。

 

首先我们来考察一下，这里的信息冗余是如何体现的。如下图中的左图所示，我们有一组二维数据点，从图上不难发现这组数据的两个维度之间具有很高的相关性。因为这种相关性，我们就可以认为其实有一个维度是冗余的，因为当已知其中一个维度时，便可以据此大致推断出另外一个维度的情况。

为了剔除信息冗余，我们设想把这些数据转换到另外一个坐标系下（或者说是把原坐标系进行旋转），例如像上图中的右图所示之情况，当然这里通过平移设法把原数据的均值变成了零。下图中的左图是经过坐标系旋转之后的数据点分布情况。你可以看出࿰

了解本专栏 订阅专栏 解锁全文 超级会员免费看
白马负金羁
关注
专栏目录
订阅专栏
初识主成分分析 (PCA)
weixin_43937759的博客
06-16 2830
1. 一个小故事 本部分以知乎用户 论智 对 CrossValidated的人气答主 amoeba 的文章的翻译为基础，做了一定量的修改。 原文 Making sense of principal component analysis, eigenvectors & eigenvalues amoeba设想了一个大家庭聚餐的场景，大家突然对PCA是怎么回事很感兴趣，于是你逐一向家庭成员（曾祖母，祖母，母亲，妻子，女儿）解释，每个人都比上一个人内行一点。 曾祖母：我听说你正研究P……C……A。我想
PCA(主成分分析)过程详解
沐雨金鳞
09-07 2万+
当数据维度太大时，我们通常需要进行降维处理，降维处理的方式有很多种，PCA主成分分析法是一种常用的一种降维手段，它主要是基于方差来提取最有价值的信息，虽然降维之后我们并不知道每一维度的数据代表什么意义，但是它将主要的信息成分保留了下来，那么PCA是如何实现的呢？ 我们首先要知道基坐标的概念，基坐标其实就是我们定义的坐标轴，我们平时最常用的基坐标便是X，Y坐标轴，如果我们重新定义了一个基坐标，那么...
PCA(主分量分析法）
weixin_34101784的博客
10-29 319
协方差矩阵——PCA的关键。  　　　PCA的目的就是“降噪”和“去冗余”。“降噪”的目的就是使保留下来的维度间的相关性尽可能小，而“去冗余”的目的就是使保留下来的维度含有的“能量”即方差尽可能大。那首先的首先，我们得需要知道各维度间的相关性以及个维度上的方差！那有什么数据结构能同时表现不同维度间的相关性以及各个维度上的方差呢？自然是非协方差矩阵莫属。回忆下《浅谈协方差矩阵》的内容，协方差矩阵度...
主成分分析(PCA)
最新发布
blinkyou001的博客
08-11 4128
本文讲解了主成分分析（PCA）的基本原理，并利用python进行了实例演示。
主成分分析（PCA）及其可视化——python
PY洋洋
11-17 9万+
一、主成分分析的原理 主成分分析是利用降维的思想，在损失很少信息的前提下把多个指标转化为几个综合指标的多元统计方法。通常把转化生成的综合指标称之为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，这就使得主成分比原始变量具有某些更优越的性能。这样在研究复杂问题时就可以只考虑少数几个主成分而不至于损失太多信息，从而更容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时使问题得到简化，提高分析效率。 主成分分析正是研究如何通过原来变量的少数几个线性组合...
kernal_PCA的一个MATLAB实现
04-18
主动外观模型（AAM）的一个MATLAB实现: % This function does principal component analysis (non-linear) on the given % data set using the Kernel trick % % Data_Out = kernelpca_tutorial(Data_in,Num_Dim) % % Data_in - Input data (d (dimensions) X N (# of points) % Num_Dim - Dimensions of output data. (Num_Dim <= d) % Data_Out - Output data. (Num_Dim (dimensions) X N (# of points))
PCA(Principle Component Analysis，主成分分析）介绍及其相关应用
weixin_44808889的博客
06-06 1834
PCA算法介绍及其实现
主成分分析（PCA）
Einstellung的博客
08-05 1246
PCA介绍如图一所示，如果你收到的无论是任何形状的数据，比如此图的数据点云。PAC会通过转换和轮换发现从旧坐标系统获取新的坐标系统他根据数据中心点移动坐标，他将x轴移至变化的主轴，此处数据点相关性最多。他将另一个轴移至相关性变化不那么多的正交的地方。如图所示，经过PCA处理之后新的坐标位于(2,3)点处。主成分析的依据如图所示，PCA以离散最大的情况为x轴，让各个信息映射到x轴上。目的是为了最大程度
K-PCA.rar_EZH_pca降维_pmgb_主成分分析pca_自编的主成分分析matlab代码
07-15
在标题"K-PCA.rar_EZH_pca降维_pmgb_主成分分析pca_自编的主成分分析matlab代码"中，提到的"K-PCA"是PCA的一种扩展，即Kernlab包中的Kernel PCA（核主成分分析），它引入了非线性映射，使得PCA能够处理非线性结构的...
kPCA.zip_Kernel-PCA_kpca中kernel_pca_rocketrno_核主成分分析
07-14
在多元统计领域中，核函数主成分分析(kernel principal component analysis, kernel PCA)是利用核函数方法技术对主成分分析(PCA)的扩展。使用核函数使原PCA的线性操作是在一个复制的内核希尔伯特空间中执行的。 KPCA...
机器学习中的数学（九）：主成分分析（PCA）
qq_37692302的博客
07-09 1380
引言 主成分分析（PCA）是一种能够极大提升无监督特征学习速度的数据降维算法。更重要的是，理解 PCA 算法，对实现白化算法有很大的帮助，很多算法都先用白化算法作预处理步骤。假设你使用图像来训练算法，因为图像中相邻的像素高度相关，输入数据是有一定冗余的。具体来说，假如我们正在训练的 16x16 灰度值图像，记为一个 256维向量，其中特征值对应每个像素的亮度值。由于相邻像素间的相关性，PCA ...
主成分分析（PCA）及其可视化——matlab
PY洋洋
11-15 3万+
X= csvread('文件路径',1,0); %读取数据文件，第一行不读取 T = readtable('文件路径')；%读取文件中的所有数据 举例： data = [1,-0.2,0.3,0.8,-0.5 -0.2,1,0.6,-0.7,0.2 0.3,0.6,1,0.5,-0.3 0.8,-0.7,0.5,1,0.7 -0.5,0.2,-0.3,0.7,1] 运行结果： mapping.mean = mean(data, 1) %..
一文让你彻底搞懂主成成分分析PCA的原理及代码实现(超详细推导)
Luoyingfeng的博客
07-20 3万+
主成分分析（Principal components analysis）PCA是一个很重要的降维算法，可以用来降噪、消除冗余信息等，只要和数据打交道几乎是必学的。它需要一些前置知识，我自己学的时候总是一知半解，后来才知道是这些前置知识基础没打牢固，为了彻底搞明白，我另外写了几篇文章，理清了其中用到的一些知识，基础不好的同学可以先过一下： 带你深入理解期望、方差、协方差的含义 一文读懂特征值分解EVD与奇异值分解SVD 引言 首先先举个例子来认识一下数据。 假设我们有一组二维数据(x,y)，它的分布如下：
主成分分析法（PCA）原理和步骤
吴建明wujianming_110117
01-30 2万+
主成分分析法（PCA）原理和步骤 主成分分析（Principal Component Analysis，PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据，转换为一组线性不相关的变量，转换后的变量被称为主成分。 可以使用两种方法进行 PCA，分别是特征分解或奇异值分解（SVD）。 准备工作 PCA 将 n 维输入数据缩减为 r 维，其中 r<n。简单地说，PCA 实质上是一个基变换，使得变换后的数据有最大的方差，也就是通过对坐标轴的旋转和坐标原点的平移，
PCA（主成分分析）原理详解与python实现
litt1e的博客
01-14 4038
PCA是一种数据降维的方法。当我们在处理一些高维且冗余数据时，可以使用PCA对数据进行降维，去除冗余信息，提高运行速度。如上图所示，左边3D图像，存在大量冗余数据，我们把这样的数据转移到2D可以更加清晰的观察数据本身，同时降低计算复杂度。 1.PCA原理详解 如果我们要对上图二维空间的特征点做特征降维，那怎样的降维结果对我们来说是好的呢？其实，二维特征降维就是找坐标系投影，如图可以看到红色箭头与黄色箭头两个坐标轴。如果我们将特征映射到黄色轴，二维特征点将会大量重叠在黄色轴上，损失大量原始信息是我们不想见.
主成分分析（PCA）原理详解
热门推荐
李春春的专栏
03-04 46万+
机器学习中有关特征选择的问题，其实就是要剔除和类标签无关的特征，去除噪声或者冗余。在这种情况下，需要一种特征降维的方法来减少特征数，减少噪音和冗余，减少过度拟合的可能性。PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。现在的问题是，对于很高维数据，你能想象其分布吗？就算能描述分布，如何精确地找到这些主成分的轴？如何衡量你提取的主成分到底占了整个数据的多少信息？所以，我们就要用到主成分分析的处
PCA （主成分分析）详解 （写给初学者） 结合matlab
saishangxue123的专栏
01-19 2万+
本文转自：http://hi.baidu.com/ifengzh/item/8851b6387aebefc4382ffa60 PCA （主成分分析）详解 （写给初学者） 结合matlab 一、简介         PCA（Principal Components Analysis）即主成分分析，是图像处理中经常用到的降维方法，大家知道，我们在处理有关数字图像处理方面的问题
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

白马负金羁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值