目前玩机器学习的小伙伴,上来就是使用现有的sklearn机器学习包,写两行代码,调调参数就能跑起来,看似方便,实则有时不利于个人能力发展,要知道现在公司需要的算法工程师,不仅仅只是会调参(这种工作,入门几个月的人就可以干了),而是要深入底层,能优化代码,能自己搭。
本文章适合以下几类人:
1)初学者,了解机器学习的实现过程
2)想提升自己的代码能力
第一步:原理
什么是PCA?
PCA(Principal Component Analysis)是一种常用的数据降维算法,其主要思想是将高维数据映射到低维空间中,同时尽可能地保留原始数据的信息。PCA算法的具体实现步骤如下:
1. 对原始数据进行中心化处理,即将每个特征的均值都减去该特征的平均值,使得数据的均值为0。
2. 计算协方差矩阵,即将中心化后的数据进行矩阵乘法,得到一个n×n的协方差矩阵C。
3. 对协方差矩阵进行特征值分解,得到特征值和特征向量。
4. 将特征值按照从大到小的顺序排序,选择前k个特征值对应的特征向量作为新的基向量。
5. 将原始数据投影到新的基向量上,得到降维后的数据。
PCA算法的优点是可以减少数据的冗余信息,提高计算效率和降低存储空间。但是也存在一些缺点,例如对于非线性数据降维效果不佳等。
PCA的推导,百度一下很多,这里就做一下搬运工了,可参考:【机器学习】降维——PCA(非常详细) - 知乎
第二步:代码实现
#include <iostream>
#include <stdlib.h>
#include "matrix.h"
#include <map>
using namespace std;
/**
* @brief 求实对称矩阵的特征值及特征向量的雅克比法
* 利用雅格比(Jacobi)方法求实对称矩阵的全部特征值及特征向量
* @param pMatrix 长度为n*n的数组,存放实对称矩阵
* @param nDim 矩阵的阶数
* @param pdblVects 长度为n*n的数组,返回特征向量(按列存储)
* @param dbEps 精度要求
* @param nJt 整型变量,控制最大迭代次数
* @param pdbEigenValues 特征值数组
* @return
*/
bool JacbiCor(double * pMatrix,int nDim, double *pdblVects, double *pdbEigenValues, double dbEps,int nJt)
{
}
//mean 均值 pdblVects特征向量 pdbEigenValues特征值 k为取前k个
void pca(Matrix mean,Matrix pdblVects, int k, vector<double>&meanVal)
{
if (k > mean.row || k < 0)
{
cout<<"error"<<endl;
exit(0);;
}
Matrix pcaVects;
pcaVects.initMatrix(&pcaVects,mean.row,k);
for (int i = 0; i < k; i++)
{
pcaVects = pcaVects.getOneRow(pdblVects,i);
}
pcaVects.print(pcaVects);
Matrix lowData;
//cout<<endl;
lowData.initMatrix(&lowData,mean.col,pcaVects.row);
//mean.print(mean);
//cout<<endl;
//转换成低维数据
lowData.multsmatrix(&lowData,mean,pcaVects);
lowData.print(lowData);
//需要转换到相同的坐标里面
Matrix reconMat;
reconMat.initMatrix(&reconMat, mean.col,mean.row);
Matrix pcaVectsT;
pcaVectsT.initMatrix(&pcaVectsT,k,mean.row);
pcaVectsT.transposematrix(pcaVects,&pcaVectsT);//转置
reconMat.multsmatrix(&reconMat,lowData,pcaVectsT);
//cout<<endl;
//reconMat.print(reconMat);
//加上平均值
for (int i = 0; i < reconMat.col; i++)
{
for (int j = 0; j < reconMat.row; j++)
{
reconMat.mat[i][j] += meanVal[j];
}
}
//cout<<endl;
reconMat.print(reconMat);
}
int main()
{
dataToMatrix dtm;
char file[30]="G:/data/pca.txt";
dtm.loadData(&dtm,file);
Matrix x;
x.loadMatrix(&x,dtm);
Matrix result;
vector<double>meanVal;//存放均值,在降维数据之后,映射到原坐标有用到
result = result.covMatrix(x,meanVal);
// cout<<endl;
// result.print(result);
// cout<<endl;
double *pMatrix = new double[result.row * result.row];
for (int i = 0; i < result.row; i++)
{
for (int j = 0; j < result.row; j++)
{
pMatrix[i * result.row + j] = result.mat[i][j];
}
}
double *pdblVects = new double[result.row * result.row];
double *pdbEigenValues = new double[result.row];
bool a = JacbiCor(pMatrix,2, pdblVects, pdbEigenValues, 0.0001,10000);
//将数组转换到矩阵里面
Matrix vectsMatrix;
vectsMatrix.initMatrix(&vectsMatrix,result.row,result.row);
for (int i = 0; i < result.row; i++)
{
for (int j = 0; j < result.row; j++)
{
vectsMatrix.mat[i][j] = pdblVects[i * result.row + j];
}
}
vectsMatrix.print(vectsMatrix);
pca(x,vectsMatrix, 1, meanVal);
return 0;
}
第三步:运行过程
运行结果
用到的软件是vs2010以上的版本都可以,不用额外配置什么,没调包,会用这个软件进行c++开发,就会使用这个软件
此程序由于不调用任何外源库,所以读者可以看清楚每一个算法的原理,要想学好机器学习算法,必须打好基础,不要好高骛远,另外,程序都是有备注,应该很好理解的,实在不懂,可以来问店主
代码的下载路径(新窗口打开链接):机器学习算法PCA降维之c++实现(不调用外源库)
有问题可以私信或者留言,有问必答