梯度下降法求解多元线性回归的参数

1、题目描述

    利用最小二乘法和梯度下降法求解多元线性回归的参数，其中X、Y是待拟合的数据，X是自变量，Y是因变量。

    

    

2、解题思路

    使用梯度下降法来求解。损失函数为：1/2（y - f(x)）^2 ，每进行一次迭代，先求出所有样本点的平均损失，然后损失函数对各个权重求偏导得到关于每个权重的梯度值，接着使用学习率和梯度值更新每个权重。这里的权重初始化不能为0，否则梯度不能更新。代码如下：

#include<iostream>
#include<string>
#include<vector>
using namespace std;

void LinearRegression() {
	/*
		需要拟合的模型为：y = a + bx0 + cx1,其中(a,b,c)是要求的参数
	*/
	vector<vector<float>> X({ {1,1},{2,2},{1,3},{1,6} });
	vector<float> Y({3.5,6.5,5.5,4.0});
	float learning_rate = 0.01;                             //学习率
	float a = 0.1, b = 0.1, c = 0.1;                        //权重初始值
	unsigned int iterator = 100000;                         //迭代次数
	for (int i = 0; i < iterator; i++) {
		float gradient_a = 0;
		float gradient_b = 0;
		float gradient_c = 0;   
		for (int j = 0; j < X.size(); j++) {
			float x0 = X[j][0];
			float x1 = X[j][1];
			float y = Y[j];

			//采用的是梯度下降法，需要对所有样本点的梯度求平均值
			//这里的损失函数为1/2(y - f(x))^2,损失函数对各个参数分别求偏导得到梯度值			
			gradient_a = gradient_a - (1.0 / X.size()) * (y - (a + b*x0 + c*x1));     
			gradient_b = gradient_b - (1.0 / X.size()) * (y - (a + b*x0 + c*x1)) * x0;
			gradient_c = gradient_c - (1.0 / X.size()) * (y - (a + b*x0 + c*x1)) * x1;
		}		
                //权重参数的更新
		a = a - learning_rate * gradient_a;
		b = b - learning_rate * gradient_b;
		c = c - learning_rate * gradient_c;
	}
        //保留两位小数
	a = (int)(a * 100) / 100.0;
	b = (int)(b * 100) / 100.0;
	c = (int)(c * 100) / 100.0;
	cout << "a:" << a << endl;
	cout << "b:" << b << endl;
	cout << "c:" << c << endl;
}

    这里只是一个二元一次方程的回归，相当于三维空间中的一条直线，对于其更复杂的回归函数拟合的求解方法是类似的。