kernel PCA 与 kPPCA 原理及推导过程

已于 2022-10-17 00:35:03 修改
阅读量826 收藏 3
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习 算法 降维 KPCA
于 2022-05-22 17:55:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/scott198510/article/details/124913793
版权
PCA在处理非线性数据时效果不佳，为此引入了Kernel PCA（kPCA）。kPCA利用核技巧实现非线性降维，通过对gram矩阵进行特征分解得到特征向量。kPCA投影涉及中心化处理，通过定义中心化Gram矩阵实现。kPPCA作为kPCA的推广，处理投影的非自然性，通过最大似然估计求解。本文详述kPCA和kPPCA的推导过程并提供代码实现。
摘要由CSDN通过智能技术生成

1.概述

使用PCA可以实现数据的低维线性嵌入也就是线性降维，但是对于非线性比如具有流形结构的数据特征，PCA得到的效果不太理想，原因无它，此时强行使用PCA方法，得到的低维表示会使得高维空间相距较远的点缠绕在一起，得不到想要的低维嵌入效果。相应地，对于流形数据结果，通常将PCA扩展为kernel PCA，即通过引入kernel method(kernel trick)来实现非线性降维。

2.kPCA推导过程

根据前面PCA的篇章，我们知道如何使用PCA对数据进行低维的线性嵌入。这需要我们对采样的协方差矩阵\mathbf S进行特征分解。其中矩阵 \mathbf S的定义如下：

                        ​​​​​​​        ​​​​​​​        

了解本专栏 订阅专栏 解锁全文 超级会员免费看
scott198512
关注
专栏目录
订阅专栏
pca kernel pca 主成分分析 核主成分分析 Matlab算法源代码
03-14
pca kernel pca principal component analysis kernel principal component analysis 主成分分析 核主成分分析 Matlab算法源代码
解释一下核主成分分析(Kernel Principal Component Analysis, KPCA)的公式推导过程~
热门推荐
love模式识别
10-23 6万+
KPCA，中文名称”核主成分分析“，是对PCA算法的非线性扩展，言外之意，PCA是线性的，其对于非线性数据往往显得无能为力，例如，不同人之间的人脸图像，肯定存在非线性关系，自己做的基于ORL数据集的实验，PCA能够达到的识别率只有88%，而同样是无监督学习的KPCA算法，能够轻松的达到93%左右的识别率（虽然这二者的主要目的是降维，而不是分类，但也可以用于分类），这其中很大一部分原因是，KPCA能够挖掘到数据集中蕴含的非线性信息。
核方法总结（三）———核主成分（kernel PCA）学习笔记
最新发布
reept的博客
06-28 470
本文是学习《机器学习导论》（清华大学出版社，中文版，王东，2021年）的摘录总结或笔记。
Kernel PCA 原理和演示
wolenski的专栏
09-09 2万+
主成份（Principal Component Analysis）分析是降维（Dimension Reduction）的重要手段。每一个主成分都是数据在某一个方向上的投影，在不同的方向上这些数据方差Variance的大小由其特征值（eigenvalue）决定。一般我们会选取最大的几个特征值所在的特征向量（eigenvector），这些方向上的信息丰富，一般认为包含了更多我们所感兴趣的信息。当然，这
(一)三维点云课程---Kernel PCA介绍
qq_45369294的博客
10-22 437
Kernel PCA介绍 经过上面PCA的介绍，发现PCA是个好东西，但是仔细分析发现PCA是线性，对于下面的情况，PCA就没有办法： 此时需要将数据先通过核函数转换到一个新的空间，也就是升维过程，然后再利用PCA进行降维处理。 1.推导过程 1.输入数据xi∈Rn0x_i \in R^{n_0}xi​∈Rn0​ ,存在一个非线性函数映射ϕ:Rn0→Rn1\phi :{R^{{n_0}}} \to {R^{{n_1}}}ϕ:Rn0​→Rn1​,其实就是升维过程 2.按照线性PCA的过程，对Rn1R^{n_
kernel PCA的基本推导
Sandy Hu的博客
08-25 579
原文地址：PCA的基本推导">kernel PCA的基本推导作者：自由飞鹰要学习kernel PCA就要先从基本的理论入手：     通过上面两篇PCA的介绍我想对于基本的理论推导和几何物理意义应该比较清楚了。下面就根据别人的博客和文章的基础上简要的推导下kernel PCA以及PCA。应用上给出一个小程序。由于我不是数学专业出身所以对于深层次的的理论我现在不是很懂所以在这不做多的论述，如果需要我
Kernel_PCA.rar_KernelPCA.m_kernel pca_kernel pca matlab_kernel
09-14
"KernelPCA.m"是MATLAB语言实现该算法的源代码文件，"kernel pca"和"kernel_pca"是关键词，强调了与核主成分分析相关的主题。"matlab_kernel"则表明这个程序是用MATLAB编程环境编写的，并且涉及到核函数（kernel）的...
kernel_pca.rar_kernel pca_kernel pca matlab_kernel_pca_pca kern
09-21
Kernel principal component analysis (kernel PCA) [1] is an extension of principal component analysis (PCA) using techniques of kernel methods. Using a kernel, the originally linear operations of PCA ...
Kernel-PCA.rar_Kernel_kernel matlab_kernel pca
09-22
7. **应用与优势**：Kernel PCA适用于非线性数据集，能揭示数据的潜在结构，降低复杂度，同时保持数据集的大部分信息。在图像分析、模式识别、文本分类等领域有广泛应用。 8. **注意事项**：选择合适的核函数和调整...
kernelPCA.rar_kernel pca_kernel pca matlab_kernelpca
09-19
**内核主成分分析（Kernel PCA）** 内核主成分分析（Kernel PCA，简称KPCA）是一种非线性特征提取技术，它扩展了传统的主成分分析（PCA）以处理非线性数据。PCA通过线性变换寻找数据的主要成分，但往往在处理复杂非...
核PCA公式推导
weixin_30858241的博客
04-16 178
http://zhanxw.com/blog/2011/02/kernel-pca-%E5%8E%9F%E7%90%86%E5%92%8C%E6%BC%94%E7%A4%BA/ Kernel PCA 原理和演示 转载于:https://www.cnblogs.com/kaikaikai/articles/6719451.html
Kernel PCA
RJ_MC_2016的博客
09-07 471
一、从PCA的几何意义推广至Kernel PCA； 二、推导KPCA中重要的kernel trick思想。
kernel PCA
dolphin1208的专栏
07-17 740
function [mappedX, mapping] = kernel_pca(X, no_dims, varargin) %KERNEL_PCA Perform the kernel PCA algorithm % %   [mappedX, mapping] = kernel_pca(X, no_dims) %   [mappedX, mapping] = kernel_pca(X,
机器学习中的降维方法——主成分分析(PCA)与核主成分分析(KPCA)原理详解
Marcus-Bao的个人主页
03-02 3323
学习自感谢! 学习自感谢! PCA是一种常用的数据分析方法。**PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降维。**这样做的好处是数据的主要信息还能保留下来,同时数据的维度降低了,并且变换后的维度两两不相关。 为什么需要PCA? 我们知道维数越大通常越难处理,在机器学习中,得到的数据维数通常都很高,处理起来比较麻烦,资源消耗很大,因...
二：PCA 和 KPCA理解
D_XQY_的博客
04-27 2127
前言 本文中的数据样本都是去中心化的，即可以理解为均值为0。 PCA 本例中是从二维降到一维 PCA的作用与要求 PCA是用于降维的一种方法，在降维后尽可能的保留样本最大的特征，即保证降维后方差最大化。 如下图例子所示所有样本，映射在蓝色的直线上（从二维降到一维），分布最广（用数学语言，就是映射在直线上的样本方差最大化）。 PCA中方差的表达 既然要求降维后方差要最大，首先我们得表示出降维后的方...
机器学习-初级进阶（Kernel PCA）
小小龙的博客
02-24 617
一、Kernel PCA(将线性不可分转化为线性可分) 原理 代码实现 数据： User ID Gender Age EstimatedSalary Purchased 15624510 Male 19.0 19000.0 0 15810944 Male 35.0 20000.0 0 15...
kernel PCA的推导过程
06-03
Kernel PCA（核主成分分析）是一种非线性的主成分分析方法，它通过将数据映射到高维空间，利用线性PCA方法对映射后的数据进行处理，得到非线性的主成分分析结果。 下面是Kernel PCA的推导过程： 假设我们有一个包含n个样本的数据集$X=\{x_1,x_2,...,x_n\}$，每个样本$x_i$有d个特征。我们的目标是将数据集X映射到一个m维的特征空间，其中m<d。 首先，我们定义一个核函数$K(x_i,x_j)$，它可以将两个样本映射到高维空间中的内积。常用的核函数有线性核函数、多项式核函数、高斯核函数等。 然后，我们定义一个中心化矩阵K，其中$K_{ij}=K(x_i,x_j)-\frac{1}{n}\sum_{k=1}^nK(x_i,x_k)-\frac{1}{n}\sum_{k=1}^nK(x_j,x_k)+\frac{1}{n^2}\sum_{k=1}^n\sum_{l=1}^nK(x_k,x_l)$。这个矩阵可以看作是样本之间的相似度矩阵，同时也是一个半正定矩阵。 接着，我们对中心化矩阵K进行特征值分解，得到特征值$\lambda_1,\lambda_2,...,\lambda_n$和对应的特征向量$\phi_1,\phi_2,...,\phi_n$。其中，特征向量$\phi_i$是映射到高维空间中的第i个主成分。 最后，我们将原始数据集X映射到m维的特征空间中，得到新的数据集$X'=\{\phi_1(x_1),\phi_2(x_2),...,\phi_m(x_n)\}$。这个数据集就是经过非线性主成分分析处理后得到的结果。 总的来说，Kernel PCA的推导过程就是先定义核函数，然后通过中心化矩阵和特征值分解得到映射到高维空间中的主成分，最后将原始数据集映射到新的特征空间中得到结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

scott198512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值