数据降维（PCA、KPCA、PPCA）及C++实现

最新推荐文章于 2024-06-04 00:51:29 发布
最新推荐文章于 2024-06-04 00:51:29 发布
阅读量1w 收藏 64
点赞数 7
文章标签： PCA/KPCA C
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010442908/article/details/81182405
版权

1、何为数据降维

1.1维数灾难：往往满足采样条件所需的样本数目巨大、样本稀疏、距离计算困难。

1.2降维：利用数学变换将原始高维属性空间转变为低维“子空间”，即在高维采样数据中提取能够表达原始数据的特征。

1.3 降维优点：数据集更易懂、使用和显示；降低算法计算开销；去除噪声。

2、一些降维算法

Principal Component Analysis （PCA）

Linear Discriminant Analysis（LDA）

Locally linear embedding（LLE）

Laplacian Eigenmaps

本文主要针对以下三种算法：

2.1 PCA：PCA算法是一种线性投影技术，利用降维后使数据的方差最大原则保留尽可能多的信息；

2.2 KPCA：PCA仅考虑了数据的二阶统计信息，而没有利用高阶统计信息，忽略了数据的非线性相关性，而KPCA，通过非线性变换将数据映射到了高维，在高维空间中进行特征提取，获得了更好的特征提取性能；

2.3 PPCA：PCA没有将数据的概率分布考虑，PPCA对PCA做了概率上的解释，延伸了PCA算法。

总之：PPCA和KPCA都是针对PCA算法的缺陷，做出了不同方向上的改进。

3 PCA、KPCA、PPCA算法步骤

3.1 PCA： 数据在低维线性空间上的正交投影，这个线性空间被称为主子空间，使得投影数据的方差被最大化。

》将原始数据按列组成n行m列矩阵X；

》将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值；

》求出协方差矩阵C；

》求出协方差矩阵的特征值及对应的特征向量；

》将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P；

》Y=PX即为降维到k维后的数据。

3.2 KPCA：通过使用一个非线性核替换线性的方式来对高维数据向低维投影。

》将原始数据按列组成m行n列矩阵X；

》计算核矩阵，先选定高斯径向核函数中的参数，计算核矩阵K，修正核矩阵得到KL；

》求出协方差矩阵C，运用雅可比迭代方法计算KL特征值与特征向量；

》将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵；

》通过施密特正交化方法单位正交化特征向量得到P；

》Y=PX即为降维到k维后的数据。

3.3 PPCA：PPCA是一种考虑每个变量概率分布的方法，在确定主元和误差的概率函数后，通过期望最大（EM）算法建立模型。

》将原始数据按列组成n行m列矩阵；

》对原始训练样本数据进行标准中心化处理得到X；

》在隐含变量x 的条件下得到观测数据的概率分布；

》通过EM 算法获得概率PCA 的模型参数W(因子矩阵)和方差；

》舍去不满足因子矩阵与方差特定关系的归一化数据；

》剩余满足条件数据即为降维到k维后的数据。

4、C++实现PCA、KPCA

（环境：Visual Studio 2013）

pca.h

#include<math.h>    
#include<fstream>    
#include<iostream>    
#include<stdio.h>    
#include<iomanip>    
#include<math.h> 
using namespace std;

typedef struct sourcedata      //声明了一个原始数据类型 
{
	int m;
	int n;
	double **data;
}SourceData;
class PCA
{
public:
	PCA(int m, int n);                                //m为行数，n为列数	 
	SourceData getdata(const  char *file);           //获取外部数据 
	void standarddata(double **a);                  //数据标准化 
	double  product(double *a, double *b);         //向量乘积 
	void  swap(double &x, double &y);             //数据交换 
	double  **matrixproduct(double **a);            //求解协方差矩阵 
	void  selectionsort(double *A, double **v);     //特征值排序 
	void  zhengjiao(double **v);                   //向量正交化 
	int jcb(double **a, double **v, double eps, int jt);		 //求解特征值和特征向量 
	int selectcharactor(double *A, double getratio, double *B); //提取主分量 
	double  **getProject(int t, double **x, double **v);        //计算降维后特征点  
	void   saveProject(const char *projectfile, double **project, int t); //保存
	~PCA(){}
private:
	int  rows;
	int columns;
};

kpca.h

#include<math.h>
#include<fstream>
#include<iostream>
#include<stdio.h>
#include<iomanip>
#include<math.h>
#include<stdlib.h>
#include<time.h>
using namespace std;

class KPCA
{
public:
	KPCA(int m, int n);
	SourceData getdata(const char *file); //获取外部数据
	int randdef(int n1, int n2); //生成n1到n2随机整数
	double getvar(double **testdata, int m, int n, int l, double left, double right);//通过对随机样本的最大特征提取效率获取高斯径向基函数的参数
	double product(double *a, double *b, int size);  //向量乘积
	double kernel(double var, double *x, double *y, int sign);  //核函数定义
	double **getkernelmatrix(double **a, double var, int sign); //获取核矩阵
	double **modifykernelmatrix(double **K);  //修正核矩阵
	int jcb(double **a, double **v, double eps, int jt);	//求解矩阵的特征值和特征向量	
	void zhengjiao(double **v); //正交化特征向量
	void swap(double &x, double &y); //交换元素
	void selectionsort(double *A, double **v);  //特征值和特征向量选择排序
	void saveeigenvectors(double A[], double **v, const char *vectorfile);//保存特征值和特征向量
	int selectcharactor(double *A, double getratio, double *B);  //提取特征
	double  **getProject(int t, double **x, double **v);  //获得投影
	void saveProject(const char *projectfile, double **project, int t);  //保存投影
	~KPCA(){}
private:
	int  rows;
	int columns;
};

pca.cpp与kpca.cpp由于篇幅问题未分享，有意者邮箱：1490217008@qq.com或https://download.csdn.net/download/u010442908/10628230

main.cpp

#include"pca.h"    
#include"kpca.h"
void main()
{
	//pca

	cout << "-----------------------pca------------------------" << endl;
	int i, j, t;                                                        //i,j循环用；t降维后维数
	int m, n;                                                           //m行n列
	double **x, **c, **v, **Project;                                      
	double *A, *B;                                                         //A特征值B贡献率
	sourcedata pp;
	double eps = 0.000001;                                              //雅克比方法的终止精度            
	double getratio = 0.9;                                              //特征值的提取率      
	const  char *File = "test1.txt";                                    //原始数据文件名称    
	const char *projectfile = "pcaproject.txt";                         //处理后的数据文件名称    
	PCA pca(2, 3);                                                      //声明一个临时对象调用成员函数来获取数据    
	pp = pca.getdata(File);                                             //获取外部数据    
	x = pp.data;
	m = pp.m;
	n = pp.n;

	cout << "数据的行数为" << m << "，数据的列数为 " << n << endl;
	A = new double[n];                                           //存放特征值
	B = new double[n];                                          //存放特值贡献率
	v = new double*[n];                                          //存放特征向量
	for (i = 0; i < n; i++)
		v[i] = new double[n];


	PCA  testpca(m, n);                                        //声明一个对象并初始化           
	testpca.standarddata(x);                                   //对数据进行标准化处理   X是原始数据        
	c = testpca.matrixproduct(x);                              //    求协方差矩阵  
	i = testpca.jcb(c, v, eps, 100);                           //    求特征值和特征向量    
	for (int k = 0; k < n; k++)
		A[k] = c[k][k];                                        //存特征值    
	testpca.zhengjiao(v);                                     //正交化特征向量    
	testpca.selectionsort(A, v);                              //特征值和特征向量排序        
	t = testpca.selectcharactor(A, getratio, B);              //提取特征值 t为降维后维数   


	cout << "PCA降维后的维数：" << t << endl;
	cout << "排序后提取的特征值及对应的特征向量" << endl;
	for (i = 0; i <= t - 1; i++)                              //输出特征值
		printf("%13.7e  ", A[i]);
	printf("\n\n");

	for (i = 0; i < n; i++)                                    //输出特征向量
	{
		for (j = 0; j < t; j++)
			printf("%13.7e  ", v[i][j]);
		printf("\n");

	}
	cout << "特征值的累计贡献率为" << endl;
	for (i = 0; i < n; i++)
		cout << B[i] << "  ";
	cout << endl;
	cout << "当提取效率是" << getratio << "时提取了前" << t << "个分量" << endl;     //getratio特征提取率
	if (t >= 1 && t <= n)
		Project = testpca.getProject(t, x, v);                //求降维后特征点       
	else
		cout << "error" << endl;
	testpca.saveProject(projectfile, Project, t);             //保存特征点到TXT文件  



	//kpca

	cout << endl<< "----------------------kpca------------------------" << endl;
	int a;                                                      //循环用
	int l = 50;                                                 //随机提取样本的数目	
	const char *File2 = "test2.txt";
	const char*eigenvectors = "eigen.txt";                     //特征值和特征向量存储文件名称
	const char *projectfile2 = "kpcaproject.txt";              //降维后特征点文件存储名称
	SourceData pdata;
	double  gaussparameter;                                    //高斯核参数
	double **K, **KL;                                           //高斯核矩阵k及修正核矩阵	
	KPCA kpca(3, 2);
	pdata = kpca.getdata(File2);                               //获取外部数据
	x = pdata.data;
	m = pdata.m;
	n = pdata.n;
	A = new double[m];
	B = new double[m];

	KPCA  testkpca(m, n);                                        //对象	
	gaussparameter = testkpca.getvar(x, m, n, l, 100, 800);       //求高斯核参数    通过对随机样本的最大特征提取效率获取高斯径向基函数的参数
	cout << "高斯核参数： " << gaussparameter << endl;
	K = testkpca.getkernelmatrix(x, gaussparameter, 1);          //求核矩阵
	KL = testkpca.modifykernelmatrix(K);                        //求修正核矩阵	
	c = new double*[m];                                         //定义c、v二维数组
	for (a = 0; a<m; a++)
		c[a] = new double[m];
	v = new double*[m];
	for (a = 0; a<m; a++)
		v[a] = new double[m];
	for (a = 0; a<m; a++)                                        //修正核矩阵放入c
		for (j = 0; j<m; j++)
			c[a][j] = KL[a][j];
	a = testkpca.jcb(c, v, eps, 10000);	                        //求取特征值和特征向量
	cout << "计算特征值的迭代次数为" << a << endl;
	if (a != -1)
	{
		for (a = 0; a<m; a++)
			A[a] = c[a][a];                                     //特征值存入A
	}
	else
		cout << "不能求得特征值和特征向量" << endl;
	testkpca.zhengjiao(v);	                                  //正交化特征向量
	testkpca.saveeigenvectors(A, v, eigenvectors);
	testkpca.selectionsort(A, v);                             //特征值和特征向量排序	
	t = testkpca.selectcharactor(A, getratio, B);            //提取特征值	

	cout << "特征值的累计贡献率是" << endl;
	for (a = 0; a<m; a++)
		cout << B[a] << "  ";
	cout << endl;
	cout << "当提取效率为" << getratio << "时提取了前" << t << "个分量" << endl;
	if (t >= 1 && t <= m)
		Project = testkpca.getProject(t, KL, v);                //求降维后特征点 
	else
		cout << "error" << endl;
	testkpca.saveProject(projectfile2, Project, t);               //存入TXT文件
}

结果分析

工程目录

4.1、pca原始线性数据集，即工程目录下test1.txt文件，共6维数据，每个维度150个特征点，部分数据截图如下：

经过pca算法降维后，生成工程目录下pcaproject.txt文件，数据变为4维：

4.2：kpca原始非线性数据集，即工程目录下test2.txt文件，共6维数据，每个维度150个特征点，部分数据截图如下：

经过kpca算法降维后，生成工程目录下kpcaproject.txt文件，数据变为2维：

 

人工智障2.0
关注
  • 7
    点赞
  • 踩
  • 64
    收藏
    觉得还不错? 一键收藏
  • 46
    评论
PCA降维 C++实现
panhao762的专栏
02-16 9003
这是本人在学习PCA降维的过程中，根据算法写成的C++代码。 PCA是模式识别中常见的特征降维的算法，其大体步骤可以分为以下几个部分： （1）原始特征矩阵归一化处理 （2）求取归一化处理后特征矩阵的协方差矩阵 （3）计算协方差矩阵的特征值及其对应的特征向量 （4）按照特征值从大到小排列特征向量 （5）从大到小，挑选出前K个特征值对应的特征向量组成降维后的特征向量，即为所求。
C/C++实现PCA降维以及故障监测
Oldwater1的博客
10-28 1529
C/C++实现PCA降维以及故障监测@TOC 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码
KPCA_KPCA_KPCA数据降维_KPCA降维_kpca的r实现_KPCA降维_
10-01
KPCA实现数据降维，数据部分可以自己改，用的是TE故障中的一组数据
eigen PCA降维算法
01-17
github上评分比较高的一个用eigen实现的C++算法 写的挺好的
基于核主成分分析 （KPCA） 进行降维、特征提取、故障检测和故障诊断（Matlab代码实现）
m0_73907476的博客
06-04 431
除了KPCA，还有其他一些常用的降维和特征提取方法，如主成分分析（PCA）、线性判别分析（LDA）、t分布邻域嵌入（t-SNE）等。另外，对于故障检测和诊断，还可以使用支持向量机（SVM）、K均值聚类等算法进行分析和预测。综合考虑数据的性质和任务的需求，选择合适的方法进行处理和分析是非常重要的。基于核主成分分析（KPCA）进行降维、特征提取、故障检测和故障诊断是一种常见的方法，特别适用于高维数据和非线性特征。通过KPCA，可以将高维数据映射到一个低维的核空间中，从而实现降维。
三维点云处理（三）——Kenerl PCA
weixin_45563167的博客
06-07 744
上一章节说明的基础PCA主成分分析的基本原理，这种PCA主要适用于线性关系的数据点，在原理里包含的矩阵乘法实际上也是线性操作。数据中矩阵乘一个向量就是对矩阵的列的线性组合。如果我们遇到数据不是线性的情况下怎么办呢？将所有的数据点投影到主向量上去，由此得到投影后的系数yr。从PCA引入到kernel PCA，主要是通过使用核函数来对数据进行升维来达成聚类效果。
04-0003 KPCA算法
雯饰太一的博客
04-19 5174
KPCA算法1.KPCA简述2.核函数3.KPCA推导4.KPCA步骤5.KPCA数据6.KPCA代码7.KPCA结果8.个人の理解 1.KPCA简述 当数据在低维空间不是线性可分的时候，转化到高维的空间可能就变成了线性可分的，这个过程用到了KPCA算法，也就是将数据才能从低维非线性，转化为高维线性可分数据的一种算法。 [注：这里的高维空间下的线性可分，此时的线性说的是一个超平面。我的理解。 ]...
PCA降维的计算原理与应用
shandianfengfan的博客
12-17 1517
在科研、工程应用、生活中，我们所获取的数据往往包含着很多冗余信息，这些冗余信息往往对数据分析造成干扰，增加数据分析的复杂度。此时我们则需要对这些数据进行预处理，预处理的原则是：既能抓住其...
PCA、KPCA数据降维C++实现
08-27
PCA（主成分分析）和KPCA（核主成分分析）是两种广泛应用于数据降维的技术。在机器学习和数据分析领域，这两种方法可以帮助我们减少数据的复杂性，提高模型的效率和准确性，同时保持数据集中的关键信息。 PCA是一种...
KPCA_KPCA降维_KPCA降维_matlab
09-11
**KPCA（Kernel Principal Component Analysis，核主成分分析）是一种非线性的数据分析方法，它扩展了传统的PCA（主成分分析）以处理非线性...通过不断实践和调整，我们可以找到最佳的核函数参数，提高数据降维的效果。
kpca_toy.rar_KPCA 降维_KPCA降维_nonlinear pca_降维算法_非线性PCA
09-21
标题"kpca_toy.rar_KPCA 降维_KPCA降维_nonlinear pca_降维算法_非线性PCA"指出，这是一个关于Kernel Principal Component Analysis（KPCA，核主成分分析）的示例应用，主要用于数据的非线性降维。KPCA是一种扩展了...
【老生谈算法】matlab实现数据降维PCA算法源码.docx
11-05
MATLAB 实现数据降维 PCA 算法源码解析 PCA（Principal Component Analysis，主成分分析）是一种常用的数据降维技术，能够将高维数据转换为低维数据，同时保留原始数据的主要信息。本文将详细介绍 MATLAB 实现数据...
PCA算法的原理以及c++实现（Eigen库实现）源码
Qer的博客
05-14 1万+
今天学习了PCA算法，把自己的理解写在这里，一方面希望如果理解有什么偏差，大家能给予指正，另一方面希望能和大家一起共享知识。 假设有一个多样本高维度的样本集，例如m个样本，每个样本维度为n 我们想通过降维算法来降低维度到k（0 （1）首先理解正交基分解： 我们默认一个n维向量v=（x1,x2,x3……xn）是一个n维空间的以n个单位基底（1,0,0,……），（0,1,0,0……）…
升维与降维介绍以及代码实现
h2728677716的博客
02-20 6833
升维的目的： 升维的目的是去解决欠拟合的问题，以提高模型的准确率为目的。 多项式回归： 是升维的一种，可以算是机器学习中的一种算法，不过和归一化一样一般算作数据预处理的手段， 目的就是将已有维度进行相乘，包括自己和自己相乘，组成二阶甚至更高阶的维度。 当数据X，y呈现一种非线性(X是二次方甚至更高阶)的关系时候，即y不是随着X线性变换的时候，我们有两种选择 一：用非线性的算法（回归树，神经网络）拟合非线性的数据。 二：用线性算法，但是需要将数据进行升维。 例二阶多项式升维：
PCA算法的原理以及c++实现
chengwei0019
03-12 2784
PCA主成分分析，是模式识别中常见的特征降维的算法，其大体步骤可以分为以下几个部分： （1）原始特征矩阵归一化处理（假设M和样本，每个样本n个特征，则对M*N的X数据，进行零均值化，即减去这一列的均值） （2）求取归一化处理后特征矩阵的协方差矩阵 （3）计算协方差矩阵的特征值及其对应的特征向量 （4）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P； （5）Y=PX即...
高斯滤波及高斯卷积核C++实现
weixin_30807779的博客
08-24 1769
高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，在图像处理的降噪、平滑中应用较多，特别是对抑制或消除服从正态分布的噪声非常有效。高斯滤波的过程其实就是对整幅图像进行加权平均操作的过程。滤波后图像上每一个像素的灰度值大小，由其本身和邻域内的其他像素共同决定。具体实现是：用一个大小为（2*N+1）的模板（或称卷积核、掩模）依次扫描图像中的每一个像素，用模板确定的邻域内...
PCA 降维优化（C++实现）
qq_44790423的博客
05-29 546
前段时间写了一个HOG+PCA降维，在进行随机森林训练的时候，说得知道降维后信息保留了多少，以及得把降维后所有特征的重要性进行排序，于是删删改改终于解决了！ 代码及解释 Mat pca_1(MatrixXd samFeatureMatrix, int featureNum, int k){ // samFeatureMatrix 为原始矩阵 // featureNum 为图像原始特征维度大小 // k 为可选的降维大小 //复制一份原始矩阵，便于后续得到投影矩阵后进行
OpenCV + CPP 系列（圩六）数据降维 PCA
红叶谷 wsp_1138886114的博客
09-21 371
文章目录一、简述 一、简述 在机器学习中，我们需要对数据进行特征提取，然后使用提取的数据特征进行训练，实现分类，回归等操作来对未知数据进行预测。为了提升模型的准确率和减少推理的计算量，所以我们需要对提取的特征进行评估，是否有重复特征或者白噪声，而这些特征往往是人下意思无法发现的，高维度数据会使得有效数据密度降低，使分类器的分类效果变差，从而需要更多的数据集。 关于数据降维的详情：https://blog.csdn.net/wsp_1138886114/article/details/80691543 关于P
列向量和行向量看待矩阵乘法
热门推荐
Zetaa的博客
07-24 2万+
声明： 仅个人小记 前言： 主要是引入一个新的看待矩阵乘法的角度觉得这个挺重要的，故做记录列向量角度，矩阵左乘AB = C 结合上图，我们可以知道，结果矩阵C中的第 j 列完全可以表示为矩阵A中列向量的线性组合，具体怎样的线性组合完全是参看矩阵B中相应的第 j 列，与矩阵B中的其他列无关。换言之，左侧矩阵提供基本的列向量，右侧的矩阵交代怎样的线性组合。行向量角度，矩阵右乘 AB = C 结合
python进行pca、PPCA、kpca
最新发布
06-06
PCA（Principal Component Analysis）是一种常见的降维方法，用于将高维数据转化...而KPCA则可以使用scikit-learn库中的KernelPCA来实现，同样也可以使用fit_transform方法来得到降维后的数据。 下面是一些相关问题：
评论 46
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值