最小二乘法求线性回归方程计算器_线性回归与最小二乘法（转载）

这篇笔记会将几本的线性回归概念和最小二乘法。
在机器学习中,一个重要而且常见的问题就是学习和预测特征变量(自变量)与响应的响应变量(应变量)之间的函数关系
这里主要讨论线性函数:在特征和响应之间学习线性关系。
这篇文章是入门基本概念的一片文章，会引导你关于一些模型的基本过程是怎样的。这里需要一些python和数学的基础知识。
01
线性建模
以奥运会男子100米金牌需要的时间数据为例。我们希望预测某年奥运会的男子拿到金牌的时间。从网上收集到数据,做成格式合适的数据集，如下图。

用python解析文件，代码如下

用python画图，代码如下
得到大致的数据分布结果：
可以看见一个近似线性的结果,因此,我们考虑用线性建模的方法来给这个数据建立模型。
1.定义模型
其中t是跑步时间,x是年份
,a是有必要但是未知的参数.
2.模型假设
假设x和t之间的关系是线性的.
这是直线的标准形式.现在学习任务就是用得到的数据为两个参数选择合适的值.
3.定义什么是最好的模型（重点）
首先,我们知道要想找到最好的模型,就是这条直线和所有的数据点都尽量的接近.
设：

表示真实数据集中第n次年份和时间.那么使得

最小,意味着数值的越接近.
根据这个引出第n个实例的平方损失函数(squard loss function):

同理,整个数据集上面的平均平方损失函数:

我们的任务就是调整模型参数的值,使得平均平方损失函数最小

（其中,argmin是数学上找到最小化参数的缩写.平方损失能够找到两个参数的最好值.）
4.最小二乘解
上面已经说过了,我们要通过平均平方损失函数来找到
的值使得我们求的的函数尽量能够接近数据集. 因此我们自然的对损失函数求最小值.
现在我们要求的便是以
为变量,其他量都是常量的函数最小值.
由多元函数的极值理论有
分别对
求偏导
在对
求偏导的时候,我们从公式中提取出只与它的偏导有关系的一部分公式,因为无关的求导必然为0,这里我们选择直接忽略去掉与
无关的项,同时,当求和式子里面某个变量与求和无关的话,可以直接提出来(把它当做常量)
同理,对
也是一样的 .