机器学习算法PCA降维之c++实现（不调用外源库）

AI街潜水的八角

已于 2023-12-26 14:17:21 修改

阅读量492

点赞数

分类专栏：从零实现十大机器学习文章标签：机器学习算法 c++

于 2023-10-12 10:38:32 首次发布

本文链接：https://blog.csdn.net/m0_59023219/article/details/133785459

版权

从零实现十大机器学习专栏收录该内容

10 篇文章 2 订阅

订阅专栏

目前玩机器学习的小伙伴，上来就是使用现有的sklearn机器学习包，写两行代码，调调参数就能跑起来，看似方便，实则有时不利于个人能力发展，要知道现在公司需要的算法工程师，不仅仅只是会调参（这种工作，入门几个月的人就可以干了），而是要深入底层，能优化代码，能自己搭。

本文章适合以下几类人：

1）初学者，了解机器学习的实现过程

2）想提升自己的代码能力

第一步：原理

什么是PCA？

PCA（Principal Component Analysis）是一种常用的数据降维算法，其主要思想是将高维数据映射到低维空间中，同时尽可能地保留原始数据的信息。PCA算法的具体实现步骤如下：

1. 对原始数据进行中心化处理，即将每个特征的均值都减去该特征的平均值，使得数据的均值为0。

2. 计算协方差矩阵，即将中心化后的数据进行矩阵乘法，得到一个n×n的协方差矩阵C。

3. 对协方差矩阵进行特征值分解，得到特征值和特征向量。

4. 将特征值按照从大到小的顺序排序，选择前k个特征值对应的特征向量作为新的基向量。

5. 将原始数据投影到新的基向量上，得到降维后的数据。

PCA算法的优点是可以减少数据的冗余信息，提高计算效率和降低存储空间。但是也存在一些缺点，例如对于非线性数据降维效果不佳等。

PCA的推导，百度一下很多，这里就做一下搬运工了，可参考：【机器学习】降维——PCA（非常详细） - 知乎

第二步：代码实现

#include <iostream>
#include <stdlib.h>
#include "matrix.h"
#include <map>

using namespace std;

/**
* @brief 求实对称矩阵的特征值及特征向量的雅克比法
* 利用雅格比(Jacobi)方法求实对称矩阵的全部特征值及特征向量
* @param pMatrix                长度为n*n的数组，存放实对称矩阵
* @param nDim                   矩阵的阶数
* @param pdblVects              长度为n*n的数组，返回特征向量(按列存储)
* @param dbEps                  精度要求
* @param nJt                    整型变量，控制最大迭代次数
* @param pdbEigenValues         特征值数组
* @return
*/
bool JacbiCor(double * pMatrix,int nDim, double *pdblVects, double *pdbEigenValues, double dbEps,int nJt)
{

}
//mean 均值 pdblVects特征向量 pdbEigenValues特征值 k为取前k个
void pca(Matrix mean,Matrix pdblVects, int k, vector<double>&meanVal)
{
    if (k > mean.row || k < 0)
    {
        cout<<"error"<<endl;
        exit(0);;
    }
    Matrix pcaVects;
    pcaVects.initMatrix(&pcaVects,mean.row,k);
    for (int i = 0; i < k; i++)
    {
         pcaVects = pcaVects.getOneRow(pdblVects,i);
    }
    pcaVects.print(pcaVects);

    Matrix lowData;
    //cout<<endl;
    lowData.initMatrix(&lowData,mean.col,pcaVects.row);
    //mean.print(mean);
    //cout<<endl;
    //转换成低维数据
    lowData.multsmatrix(&lowData,mean,pcaVects);
    lowData.print(lowData);
    //需要转换到相同的坐标里面
    Matrix reconMat;
    reconMat.initMatrix(&reconMat, mean.col,mean.row);
    Matrix pcaVectsT;
    pcaVectsT.initMatrix(&pcaVectsT,k,mean.row);
    pcaVectsT.transposematrix(pcaVects,&pcaVectsT);//转置
    reconMat.multsmatrix(&reconMat,lowData,pcaVectsT);
    //cout<<endl;
    //reconMat.print(reconMat);
    //加上平均值
    for (int i = 0; i < reconMat.col; i++)
    {
        for (int j = 0; j < reconMat.row; j++)
        {
            reconMat.mat[i][j] += meanVal[j];
        }
    }
    //cout<<endl;
    reconMat.print(reconMat);
}

int main()
{
    dataToMatrix dtm;
    char file[30]="G:/data/pca.txt";
    dtm.loadData(&dtm,file);
    Matrix x;
    x.loadMatrix(&x,dtm);

    Matrix result;
    vector<double>meanVal;//存放均值，在降维数据之后，映射到原坐标有用到
    result = result.covMatrix(x,meanVal);
//    cout<<endl;
//    result.print(result);
//    cout<<endl;
    double *pMatrix = new double[result.row * result.row];
    for (int i = 0; i < result.row; i++)
    {
        for (int j = 0; j < result.row; j++)
        {
            pMatrix[i * result.row + j] = result.mat[i][j];
        }
    }
    double *pdblVects = new double[result.row * result.row];
    double *pdbEigenValues = new double[result.row];
    bool a = JacbiCor(pMatrix,2, pdblVects, pdbEigenValues, 0.0001,10000);

    //将数组转换到矩阵里面
    Matrix vectsMatrix;
    vectsMatrix.initMatrix(&vectsMatrix,result.row,result.row);
    for (int i = 0; i < result.row; i++)
    {
        for (int j = 0; j < result.row; j++)
        {
            vectsMatrix.mat[i][j] = pdblVects[i * result.row + j];
        }
    }
    vectsMatrix.print(vectsMatrix);
    pca(x,vectsMatrix, 1, meanVal);
    return 0;
}

第三步：运行过程

运行结果