matlab最小二乘法_基于最小二乘法的线性回归拟合

阅读本文需要的知识储备：

• 高等数学

• 概率论与数理统计

• Python基础

线性回归，其实生活中有很多这样的例子，比如：票价与行车距离、服务质量之间的关系，买房时房价与面积、地域等的关系。给我们一组这样的数据，我们想找出一个数学关系来描述这个问题，从而得到自己想要的结论。那么，怎么样才能使得你确定出的关系是一个好的线性关系呢。最著名的当数最小二乘法了，很多人都知道。

最小二乘法原理

众所周知，最小二乘法原理就是利用，拟合直线上面的因变量值与实际值的残差平方和最小作为优化目标。从而确定出我们需要找出的的系数。给定一组数据X = (X1,X2,...,Xn)，Y = (Y1,Y2,...,Yn)，一般方法通过画散点图观察我们发现，X、Y之间有可能存在很强的线性关系，当然也可能有其它关系(更高次也是有可能的)。我们的任务就是，通过线性拟合找到合适的线性系数，能最好反应X、Y之间的相关关系。

假设线性方程为：

这里的eps就是指的实际值与直线拟合值的残差，它们肯定会有差值的，一般而言。

目标函数就是因变量值与实际值的残差平方和