山东大学项目实训@SDU线性回归

通俗理解线性回归
回归分析
什么是回归分析呢？这是一个来自统计学的概念。回归分析是指一种预测性的建模技术，主要是研究自变量和因变量的关系。通常使用线/曲线来拟合数据点，然后研究如何使曲线到数据点的距离差异最小。
例如，存在以下数据

然后我们拟合一条曲线f(x)：

回归分析的目标就是要拟合一条曲线，让图中红色线段加起来的和最小。

线性回归（简介）
线性回归是回归分析的一种。

假设目标值（因变量）与特征值（自变量）之间线性相关（即满足一个多元一次方程，如：f(x)=w1x1+…+wnxn+b.）。
然后构建损失函数。
最后通过令损失函数最小来确定参数。（最关键的一步）
线性回归（详解）
还是按照简介的思路来说，以简单的一元线性回归（一元代表只有一个未知自变量）做介绍。

有n组数据，自变量x(x1,x2,…,xn)，因变量y(y1,y2,…,yn)，然后我们假设它们之间的关系是：f(x)=ax+b。那么线性回归的目标就是如何让f(x)和y之间的差异最小，换句话说就是a，b取什么值的时候f(x)和y最接近。
这里我们得先解决另一个问题，就是如何衡量f(x)和y之间的差异。在回归问题中，均方误差是回归任务中最常用的性能度量（自行百度一下均方误差）。记J(a,b)为f(x)和y之间的差异，即

i代表n组数据中的第i组。
这里称J(a,b)为损失函数，明显可以看出它是个二次函数，即凸函数（这里的凸函数对应中