特征工程之降维(KPCA)

最新推荐文章于 2024-09-20 21:48:51 发布
最新推荐文章于 2024-09-20 21:48:51 发布
阅读量4.1k 收藏 54
点赞数 4
分类专栏： 数学基础 文章标签： 算法 支持向量机 计算机视觉 slam 线性代数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27388259/article/details/112168876
版权
KPCA是一种非线性降维方法，通过核函数将数据映射到高维空间后再进行线性降维。核心步骤包括：中心化数据、计算核矩阵、获取特征值和向量，最后选取最大几个特征值对应的特征向量作为降维后的数据。常用核函数包括线性、多项式、高斯核等。
摘要由CSDN通过智能技术生成

1.KPCA主要思想是先将样本映射到高维空间，再在高维空间中使用线性降维的方法

2.核函数可以直接对特征向量的内积进行变换，等价于先对特征向量做核映射然后做内积

3.KPCA算法流程有四步：

         去除平均值，进行中心化

         利用核函数计算核矩阵K

         计算核矩阵的特征值和特征向量

         将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成降维后 的数据矩阵P

KPCA是基于核函数的非线性降维方法，主要解决PCA无法针对非线性做降维的局限，主要思想是先将样本映射到高维空间，再在高维空间中使用线性降维的方法。由此要介绍核函数，我们就从这里讲起。

1.核函数

先介绍从低维映射空间到高维空间的方法：

该映射表示将原始的d维数据集映射到更高维的k维特征空间。

比如这样：

那为什么要做这样的转化呢，一开始的目的就是为了降维，现在是把数据映射到更高维的空间，不是南辕北辙吗？

因为面对样本线性不可分的时候，可以对特征向量进行映射将它转化到一般来说更高维的空间，使得在该空间中是线性可分的，这种方法在机器学习中被称为核技巧。

好了，

最低0.47元/天 解锁文章
整得咔咔响
关注
专栏目录
KPCA降维
zxiaohui666
01-25 5921
KPCA是一种非线性主元分析方法，用于降维。主要思想：通过某种事先选择的非线性映射函数Ф将输入矢量X映射到一个高维线性特征空间F之中，然后在空间F中使用PCA方法计算主元成分，核主成分分析最主要是非线性映射函数Ф的选取。 算法步骤： Step 1. 数据标准化处理。 Step 2. 求核矩阵K，使用核函数来实现将原始数据由数据空间映射到特征空间。采用的核函数为径向基核函数，公
KPCA非线性降维
weixin_57332529的博客
08-17 693
然而，一种新的算法通过使用Gram矩阵生成Gram-power矩阵来解决这一问题，该方法的空间复杂度为O(m)，时间复杂度降低到O(pkm)，从而提高了处理大规模数据集的能力。：改进核主成分分析方法将流形学习保持局部结构的思想融入KPCA的目标函数中，使得到的特征空间不仅具有原始样本空间的整体结构，还保持样本空间相似的局部近邻结构。因此，进一步的代码优化和参数微调是必要的。：采用一种计算优化的方法来解决问. 题，而不是直接采用原来的数据点定义核矩阵计算主成分，我们提出了基于聚类的代表点的方法来计算核矩阵。
【数据挖掘】 核主成分分析（Kernel PCA）
最新发布
大雨淅淅的博客
09-20 1051
核主成分分析（Kernel Principal Component Analysis，简称KPCA）是一种用于非线性降维的算法。它通过在高维空间中应用核技巧，将原始数据映射到一个更高维的空间中，使得在这个新空间中原本线性不可分的数据变得线性可分。KPCA的核心思想是通过核函数隐式地计算出数据在高维空间中的内积，从而避免了直接在高维空间中进行复杂的计算。
kpca降维算法
09-12
本程序利用KPCA来对原始数据进行降维，里面有较为详细的注解，能够帮助大家理解，程序比较精简，是在前人的基础上进行的修改后的结果，运行绝对无错误。
机器学习-降维算法(KPCA算法)
热门推荐
lyn5284767的专栏
08-08 2万+
一，介绍 现实中往往很多数据是线性不可分的，因此我们需要引入核函数把数据映射到高纬度而达到线性可分。基于核函数的主成分分析（KPCA）和主成分分析（KPCA）的步骤是一样的，只不过需要用核函数替代了原来的数据。 原理从其他地方拷贝而来： 二，代码实现 from sklearn.datasets import make_moons from sklearn.decomposition ...
KPCA降维——python
zqzq19950725的博客
03-22 5661
KPCA，中文名称”核主成分分析“，是对PCA算法的非线性扩展。PCA是线性的，其对于非线性数据往往显得无能为力（虽然这二者的主要目的是降维，而不是分类，但也可以用于分类），其中很大一部分原因是，KPCA能够挖掘到数据集中蕴含的非线性信息。 一、KPCA较PCA存在的创新点： 1. 为了更好地处理非线性数据，引入非线性映射函数，将原空间中的数据映射到高维空间，注意，这个是隐性的，我们不知道，也...
机器学习——特征工程之核化线性降维KPCA
羽落黎纹的博客
10-12 4334
一、前言 1、 线性降维的假设：从高维空间到低维空间的函数映射是线性的 2、 然而，现实任务中大多数可能需要非线性映射才能找到恰当的低维嵌入 3、 低维嵌入：低维（“本真”）空间样本点采样后以某种分布嵌入（映射）到高维空间中 二、KPCA原理 1、 非线性降维常用方法之一：基于核技巧对线性降维方法进行“核化” 2、 PCA求解目标：
KPCAv2_KPCA降维_KPCA_KPCAmatlab_kpca降维处理_数据降维
08-12
**KPCA（Kernel Principal Component Analysis）降维技术详解** **一、KPCA基本概念** KPCA，即Kernel Principal Component Analysis（核主成分分析），是一种非线性降维方法，是传统PCA（Principal Component ...
特征工程之降维
明天，你好
03-19 380
降维 线性 PCA（不需要标签）：可从两个角度进行理解，最大方差和最小平方误差 最大方差： 在信号处理领域，我们认为信号具有较大方差，噪声具有较小方差，因此我们需要寻找数据中方差较大的方向，即最大化投影方差。 推导过程：原始数据为{v1,v2,⋯ ,vn}\{v_1,v_2,\cdots,v_n\}{v1​,v2​,⋯,vn​},经过中心化变为{x1,x2,⋯ ,xn}\{x_1,x_2,\cdo...
KPCA_KPCA降维_KPCA降维_matlab
09-11
KPCA代码及其实例详解，关于非线性降维的新手入门教学
KPCA实现。。。。
12-21
有一个讲解kpca的个PPT，和一个用MATLAB实现的kpca的程序
核主元分析KPCA的降维特征提取以及故障检测应用-Kernel Principal Component Analysis (KPCA).zip
08-12
核主元分析KPCA的降维特征提取以及故障检测应用-Kernel Principal Component Analysis .zip 本帖最后由 iqiukp 于 2018-11-9 15:02 编辑      核主元分析（Kernel principal component analysis ，KPCA）在降维、特征提取以及故障检测中的应用。主要功能有：（1）训练数据和测试数据的非线性主元提取（降维、特征提取） （2）SPE和T2统计量及其控制限的计算 （3）故障检测 参考文献： Lee J M, Yoo C K, Choi S W, et al. Nonlinear process monitoring using kernel principal component analysis[J]. Chemical engineering science, 2004, 59: 223-234. 1. KPCA的建模过程（故障检测）： （1）获取训练数据（工业过程数据需要进行标准化处理） （2）计算核矩阵 （3）核矩阵中心化 （4）特征值分解 （5）特征向量的标准化处理 （6）主元个数的选取 （7）计算非线性主成分（即降维结果或者特征提取结果） （8）SPE和T2统计量的控制限计算 function model = kpca_train % DESCRIPTION % Kernel principal component analysis % %       mappedX = kpca_train % % INPUT %   X            Training samples %                N: number of samples %                d: number of features %   options      Parameters setting % % OUTPUT %   model        KPCA model % % % Created on 9th November, 2018, by Kepeng Qiu. % number of training samples L = size; % Compute the kernel matrix K = computeKM; % Centralize the kernel matrix unit = ones/L; K_c = K-unit*K-K*unit unit*K*unit; % Solve the eigenvalue problem [V,D] = eigs; lambda = diag; % Normalize the eigenvalue V_s = V ./ sqrt'; % Compute the numbers of principal component % Extract the nonlinear component if options.type == 1 % fault detection     dims = find) >= 0.85,1, 'first'); else     dims = options.dims; end mappedX  = K_c* V_s ; % Store the results model.mappedX =  mappedX ; model.V_s = V_s; model.lambda = lambda; model.K_c = K_c; model.L = L; model.dims = dims; model.X = X; model.K = K; model.unit = unit; model.sigma = options.sigma; % Compute the threshold model.beta = options.beta;% corresponding probabilities [SPE_limit,T2_limit] = comtupeLimit; model.SPE_limit = SPE_limit; model.T2_limit = T2_limit; end复制代码2. KPCA的测试过程： （1）获取测试数据（工业过程数据需要利用训练数据的均值和标准差进行标准化处理） （2）计算核矩阵 （3）核矩阵中心化 （4）计算非线性主成分（即降维结果或者特征提取结果） （5）SPE和T2统计量的计算 function [SPE,T2,mappedY] = kpca_test % DESCRIPTION % Compute the T2 statistic, SPE statistic,and the nonlinear component of Y % %       [SPE,T2,mappedY] = kpca_test % % INPUT %   model       KPCA model %   Y           test data % % OUTPUT %   SPE         the SPE statistic %   T2          the T2 statistic %   mappedY     the nonlinear component of Y % % Created on 9th November, 2018, by Kepeng Qiu. % Compute Hotelling's T2 statistic % T2 = diag)*model.mappedX'); % the number of test samples L = size; % Compute the kernel matrix Kt = computeKM; % Centralize the kernel matrix unit = ones/model.L; Kt_c = Kt-unit*model.K-Kt*model.unit unit*model.K*model.unit; % Extract the nonlinear component mappedY = Kt_c*model.V_s; % Compute Hotelling's T2 statistic T2 = diag)*mappedY'); % Compute the squared prediction error SPE = sum.^2,2)-sum; end复制代码 3. demo1: 降维、特征提取 源代码 % Demo1: dimensionality reduction or feature extraction % ---------------------------------------------------------------------% clc clear all close all addpath) % 4 circles load circledata % X = circledata; for i = 1:4     scatter:250*i,1),X:250*i,2))     hold on end % Parameters setting options.sigma = 5;   % kernel width options.dims  = 2;   % output dimension options.type  = 0;   % 0:dimensionality reduction or feature extraction                      % 1:fault detection options.beta  = 0.9; % corresponding probabilities options.cpc  = 0.85; % Principal contribution rate % Train KPCA model model = kpca_train; figure for i = 1:4     scatter:250*i,1), ...         model.mappedX:250*i,2))     hold on end 复制代码（2）结果 （分别为原图和特征提取后的图） demo1-1.png demo1-2.png 4. demo2: 故障检测（需要调节核宽度、主元贡献率和置信度等参数来提高故障检测效果） （1）源代码 % Demo2: Fault detection % X: training samples % Y: test samples % Improve the performance of fault detection by adjusting parameters % 1. options.sigma = 16;   % kernel width % 2. options.beta          % corresponding probabilities % 3. options.cpc  ;        % principal contribution rate % ---------------------------------------------------------------------% clc clear all close all addpath) % X = rand; Y = rand; Y = rand 3; Y = rand*3; % Normalization % mu = mean; % st = std; % X = zscore; % Y = bsxfun,st); % Parameters setting options.sigma = 16;   % kernel width options.dims  = 2;   % output dimension options.type  = 1;   % 0:dimensionality reduction or feature extraction                      % 1:fault detection options.beta  = 0.9; % corresponding probabilities options.cpc  = 0.85; % principal contribution rate % Train KPCA model model = kpca_train; % Test a new sample Y [SPE,T2,mappedY] = kpca_test; % Plot the result plotResult; plotResult; 复制代码（2）结果（分别是SPE统计量和T2统计量的结果图） demo2-1.png demo2-2.png    附件是基于KPCA的降维、特征提取和故障检测程序源代码。如有错误的地方请指出，谢谢。 Kernel Principal Component Analysis .zip KPCA
KPCA(经典的MATLAB程序)
03-04
KPCA(经典的MATLAB程序)，发现大家都在找，发上来大家共享一下。
KPCA_KPCA_KPCA数据降维_KPCA降维_kpca的r实现_KPCA降维_
10-01
KPCA实现数据降维，数据部分可以自己改，用的是TE故障中的一组数据
KPCA降维C++实例代码
11-08
为了解决这个问题，KPCA利用核技巧，将原始数据映射到高维特征空间，在这个空间中执行PCA，从而实现非线性降维。 **二、核函数** 在KPCA中，选择合适的核函数至关重要。常见的核函数有线性核、多项式核、高斯核...
机器学习入门之特征工程.pdf
01-20
综上所述，特征工程是机器学习中至关重要的步骤，它通过数据预处理、特征提取、特征选择和降维等方法提高数据质量，优化模型性能。通过理解并应用不同的特征工程技巧，数据科学家和机器学习工程师能够构建出更为精准...
机器学习降维算法五——KPCA算法
weixin_43499818的博客
09-17 3369
一，介绍 现实中往往很多数据是线性不可分的，因此我们需要引入核函数把数据映射到高纬度而达到线性可分。基于核函数的主成分分析（KPCA）和主成分分析（KPCA）的步骤是一样的，只不过需要用核函数替代了原来的数据。 原理从其他地方拷贝而来： 二，代码实现 from sklearn.datasets import make_moons from sklearn.decomposition import PCA from sklearn.decomposition import KernelPCA i
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

整得咔咔响

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值