最小二乘法——线性回归

最小二乘法——线性回归

一、模型

二、推理步骤

第一步：计算预测值与实际值之间的差异

第二步：推广到多点，为了考虑计算的简便性，采用残差平方和作为模型的评价函数

第三步：当取最小值时，表示预测值与实际值最接近。凸函数的最小值通常在导数等于0处取得，因此，可以转换为：

令，

则

      公式①

      公式②

第四步：将公式①代入公式②得

三、C++实现

#include<Eigen\eigen>
#include<vector>
using namespace std;

/*Eigen*/
using Point2F = Eigen::Vector2f;
using Points2F = std::vector<Eigen::Vector2f>;
using Point3F = Eigen::Vector3f;
using Points3F = std::vector<Eigen::Vector3f>;
using Point2D = Eigen::Vector2d;
using Points2D = std::vector<Eigen::Vector2d>;
using Point3D = Eigen::Vector3d;
using Points3D = std::vector<Eigen::Vector3d>;

/*
Autor:Mosquitor
Date:2021-1-14
Function:2-D linear fit

k = (D0-D1)/(D2 - D3)
D0 = sum(x*y)
D1 = sum(x_mean*y_mean)
D2 = sum(x*x)
D3 = sum(x_mean*x_mean)

ParaInput[0]:2-D data,each row include(x,y)
ParaInput[1]:output result k;
ParaInput[2]:output result b;
*/
bool mosRM::linearFit2D(Points2D& inputData, double& k, double& b)
{
	if (inputData.size() < 2)
		return false;
	double D0(0.0), D1(0.0), D2(0.0), D3(0.0);
	double x_mean(0.0), y_mean(0.0);
	for (auto pt : inputData)
	{
		x_mean += pt[0];
		y_mean += pt[1];
		D0 += pt[0] * pt[1];
		D2 += pt[0] * pt[0];
	}
	x_mean /= inputData.size();
	D1 = x_mean*y_mean;
	D3 = x_mean*x_mean*inputData.size();
	y_mean /= inputData.size();
	if (D2 == D3)
	{
		k = 1;
		b = 0;
	}
	k = (D0 - D1) / (D2 - D3);
	b = y_mean - k*x_mean;
	return true;
}