2024年最全机器学习算法regression回归之c++实现（不调用外源库）_岭回归c+，诚意分享

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

第二步：代码实现

#include <iostream>
#include <stdlib.h>
#include <string>
#include <math.h>
#include "matrix.h"
#include <fstream>
#include <sstream>
#include <stack>
using namespace std;
#define MAX 1000000
#define MIN -100000

/**

线性回归函数的实现，考虑一般的线性回归，最小平方和作为损失函数，则目标函数是一个无约束的凸二次规划问题，
由凸二次规划问题的极小值在导数为0处取到，且极小值为全局最小值，且有闭式解。根据数学表达式实现矩阵之间的运算求得参数w。
**/
/**

线性回归函数的实现，考虑一般的线性回归，最小平方和作为损失函数，则目标函数是一个无约束的凸二次规划问题，
由凸二次规划问题的极小值在导数为0处取到，且极小值为全局最小值，且有闭式解。根据数学表达式实现矩阵之间的运算求得参数w。
**/
int regression(Matrix x,Matrix y)
{

}

/**
局部加权线性回归是在线性回归的基础上对每一个测试样本（训练的时候就是每一个训练样本）在其已有的样本进行一个加权拟合，
权重的确定可以通过一个核来计算，常用的有高斯核（离测试样本越近，权重越大，反之越小），这样对每一个测试样本就得到了不一样的
权重向量，所以最后得出的拟合曲线不再是线性的了，这样就增加的模型的复杂度来更好的拟合非线性数据。

**/
//需要注意的是局部加权线性回归是对每一个样本进行权重计算，所以对于每一个样本都有一个权重w，所以下面的函数只是局部线性回归的一个主要辅助函数
Matrix locWeightLineReg(Matrix test,Matrix x,Matrix y,double k)
{

}
/**
通过调用上面的局部加权线性回归函数实现对每一个测试样例确定最后的参数，同样以列向量的形式存储，对n个特征的样本就n行，对m个样本就一个m列，
**/

int lwlrtest(Matrix x,Matrix y,double k)
{
    int i,j;
    Matrix test;
    test.initMatrix(&test,1,x.row);
    Matrix wsOne;
    wsOne.initMatrix(&wsOne,x.row,1);
    Matrix ws;
    ws.initMatrix(&ws,x.row,x.col);

    /**
    每一个样本单独调用局部加权线性回归
    **/
    for(i=0;i<ws.row;i++)///ws以列为一个权重参数向量，m列表示m个样本
    {
        test=test.getOneCol(x,i);
        wsOne=locWeightLineReg(test,x,y,k);
        for(j=0;j<ws.col;j++)
        {
            ws.mat[j][i]=wsOne.mat[j][0];
        }
    }
    for(i=0;i<ws.row;i++)
    {
        for(j=0;j<ws.col;j++)
        {
            cout<<ws.mat[j][i]<<"  ";
        }
        cout<<endl;
    }
    Matrix yPredict;
    yPredict.initMatrix(&yPredict,x.col,1);
    /**验证局部加权线性回归的正确性*/
    double yy;
    for(i=0;i<ws.row;i++)
    {
        yy=0;
        for(j=0;j<ws.col;j++)
        {
            yy+=ws.mat[j][i]*x.mat[i][j];
        }
        cout<<"y="<<yy<<endl;
        yPredict.mat[i][0] = yy;
    }
    double corVal = y.correlation(y,yPredict);
    cout<<"correlation val "<<corVal<<endl;
    return 0;
}

/**
下面的岭回归函数只是在一般的线性回归函数的基础上在对角线上引入了岭的概念，不仅有解决矩阵不可逆的线性，同样也有正则项的目的，
采用常用的二范数就得到了直接引入lam的形式。
**/

int ridgeRegres(Matrix x,Matrix y,double lam)
{

}

int main()
{
    dataToMatrix dtm;
    cout<<"loadData"<<endl;
    cout<<"----------------------"<<endl;
    char file[30]="G:/data/regression.txt";
    dtm.loadData(&dtm,file);
    //dtm.print(dtm);

    cout<<"x,y"<<endl;
    cout<<"----------------------"<<endl;
    Matrix x;
    x.loadMatrix(&x,dtm);
    Matrix y;


![img](https://img-blog.csdnimg.cn/img_convert/0c393dade8625060bcea1cf3e9da6c61.png)
![img](https://img-blog.csdnimg.cn/img_convert/484b28f329b09e16d8463548f25b6828.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上C C++开发知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[如果你需要这些资料，可以戳这里获取](https://bbs.csdn.net/topics/618668825)**

化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[如果你需要这些资料，可以戳这里获取](https://bbs.csdn.net/topics/618668825)**