
特征提取和降维
文章平均质量分 78
特征提取,特征降维,多尺度分析,统计分析,流形学习
机器猫001
这个作者很懒,什么都没留下…
展开
-
边界Fisher分析(MFA)及其非线性改进核边界Fisher分析(KMFA)的验证对比
0、前言 前期博文讲述了MFA相关理论及其可以改进的点,本期文章对MFA进行非线性改进,提出核边界Fisher分析(KMFA)方法,并将MFA与KMFA在相同数据集上进行验证对比分析。MFA理论介绍见前期博文,本文不再赘述。1、核边界Fisher分析(KMFA)理论 核心思想:将原始数据集X通过核映射转换到无限维特征空间,然后在新的高维空间应用MFA进行特征提取。 目标函数: 其中:2、验证对比分析 (1...原创 2021-11-08 11:09:27 · 1340 阅读 · 1 评论 -
边界流行嵌入(MME)与核边界流行嵌入(KMME)特征提取方法验证对比
0、前言 前期博文分析了MME方法的理论以及优缺点,本文承接该文进行MME方法验证及其改进算法的实现。本文讲述第一点改进——非线性改进,提出核边界流行嵌入KMME方法。KMME与现有的基于核理论的降维方法类似,都是将原有数据空间通过核变换映射到高维空间,然后在高维空间中进行对应的(线性)降维。1、KMME理论 ......原创 2021-11-08 11:09:59 · 1374 阅读 · 1 评论 -
基于图嵌入的降维算法——边界流行嵌入Marginal Manifold Embedding(MME)
0、前言 针对MFA 算法中样本点所选择的同类近邻点和异类近邻点之间没有必然的联系,和LDSA算法中样本点的近邻只有同类样本的问题,边界流行算法MMC被提出。1、MME算法原理 MME与MFA与LDSA类似,都需要确定每个样本的同类近邻和异类近邻并分别构建本征图和惩罚图。他们的核心思想都是通过线性映射,让原有数据集中的不同类别容易区分。区别在于同类近邻和异类近邻如何构建,以及目标函数如何表达。 MME同类边界邻域与异类边界邻域确定示意......原创 2021-10-27 15:14:42 · 1522 阅读 · 2 评论 -
基于图嵌入的降维算法——局部敏感判别分析(Locality Sensitive Discriminant Analysis ,LSDA)
0、前言 上一篇介绍了边界Fisher分析(MFA),这一篇承接上一篇,继续介绍局部敏感判别分析(Locality Sensitive Discriminant Analysis ,LSDA)相关理论,下一篇介绍判别最大化边界投影(Discriminant Maximum Margin Projections,DMMP)方法。1、局部敏感判别分析(LSDA)理论 LSDA是首先寻找每个样本的近邻,并根据标签信息将这些近邻分为同类近邻和异类近邻两种,然后分别构建本征图和...原创 2021-10-26 16:42:20 · 1486 阅读 · 2 评论 -
基于图嵌入的降维算法——边界Fisher分析(MFA)
0、前言 降维是计算机视觉、模式识别、机器学习等领域常见的数据分析和处理方法。在人脸识别、数据可视化等领域,通常需要从高维数据中提取有效的低维特征,以方便数据分析和处理。 降维算法主要包括线性降维算法和非线性降维算法。线性降维算法最典型的包括:主成分分析(Principal Component Analysis,PCA)和线性判别分析(Linear Discriminant Analysis,LDA)。PCA 是一种无监督的降维算法,其核心思想是找到一组正交基,将高...原创 2021-10-26 10:42:46 · 4431 阅读 · 5 评论 -
监督正交非线性局部近邻结构保持SONLLP特征提取算法
0、前言 现有常用的基于局部信息保持的特征提取与降维算法有LE、LPP、NPE、KLPP、KNPE等,KLPP是LPP的非线性改进,KNPE是NPE的非线性近似,适用于非线性数据集,但是这两种方法都无法利用样本的标签信息,只能进行无监督特征变换,限制了其应用范围或效果。本文提出一种全新的监督正交非线性局部近邻结构保持特征提取算法(简称为SONLLP)。该方法有效利用训练集数据标签信息并且以相关性关系为指引对原始数据集进行非线性变换,引入正交约束,并以最小化近邻结构保持误差为目标,在变换后的数据...原创 2021-10-21 13:01:19 · 461 阅读 · 0 评论 -
监督正交非线性全局信息保持特征提取算法
0、前言 现有常用的基于全局信息保持的特征提取与降维算法有PCA、KPCA等,KPCA是PCA的非线性改进,适用于非线性数据集,但是这两种方法都无法利用样本的标签信息,只能进行无监督特征变换,限制了其应用范围或效果。本文提出一种全新的监督正交非线性全局信息保持特征提取算法(简称为SOKPP)。该方法有效利用训练集数据标签信息并且以相关性关系为指引对原始数据集进行非线性变换,并在以最大化方差信息保持为目标,在变换后的数据空间中进行特征提取。1、SOKPP算法原理...原创 2021-10-21 11:08:09 · 279 阅读 · 2 评论 -
PCA、LPP及两者正交改进的特征提取特征降维算法
正交PCALPP代码实现文章目录正交PCALPP代码实现0.引言1.原理1.1 PCA目标函数1.2 LPP目标函数1.3 CVPCALPP原理2.方案验证3.结论0.引言 传统基于主成分分析 (Principal component analysis, PCA) 的数据降维方法在提取有效特征信息时只考虑全局结构保持而未考虑样本间的局部近邻结构保持问题, 本文提出一种改进全局结构保持算法的特征提取与降维方法,改进的特征提取与降维方法将流形学习中局部结构保持 ( Locality preservin原创 2021-09-16 11:03:05 · 1848 阅读 · 6 评论 -
KPCA正交KLPP及两者结合改进的特征提取特征降维算法
正交KPCAKLPP代码实现文章目录正交KPCAKLPP代码实现0.引言1.原理1.1 KPCA目标函数1.2 KLPP目标函数1.3 CVKPCAKLPP原理2.方案验证3.结论0.引言 传统基于核主成分分析 (Kernel principal component analysis, KPCA) 的数据降维方法在提取有效特征信息时只考虑全局结构保持而未考虑样本间的局部近邻结构保持问题, 本文提出一种改进全局结构保持算法的特征提取与降维方法,改进的特征提取与降维方法将流形学习中核局部结构保持 (K原创 2021-09-16 10:55:36 · 890 阅读 · 2 评论 -
KPCA、KLPP及两者结合改进的特征提取特征降维算法
KPCA-KLPP代码实现文章目录KPCA-KLPP代码实现0.引言1.原理1.1 KPCA目标函数1.2 KLPP目标函数1.3 KPCA-KLPP原理2.方案验证3.结论0.引言 传统基于核主成分分析 (Kernel principal component analysis, KPCA) 的数据降维方法在提取有效特征信息时只考虑全局结构保持而未考虑样本间的局部近邻结构保持问题, 本文提出一种改进全局结构保持算法的特征提取与降维方法,改进的特征提取与降维方法将流形学习中核局部结构保持 (Kern原创 2021-09-16 10:41:20 · 1536 阅读 · 3 评论 -
PCA-LPP特征提取特征降维
PCA-LPP代码实现文章目录PCA-LPP代码实现0.引言1.原理1.1 PCA目标函数1.2 LPP目标函数1.3 PCA-LPP原理2.方案验证3.结论3.结论0.引言 提出集合主成分分析与局部保持嵌入的流形学习特征降维方法。该方法通过结合主成分分析(PCA)与局部保持嵌入(LPP)各自优点,兼具最大化保留数据的全局结构特性与局部结构特性,更利于提取原始数据集中的低维流行有效信息。最后,采用UCI数据集进行降维可视化分析。1.原理1.1 PCA目标函数 PCA的核心是通过投影矩阵A原创 2021-09-06 20:40:13 · 1253 阅读 · 4 评论