机器学习------一元线性回归算法

预测数据型数据：回归

回归的含义

• 大自然让我们回归到一定的区间范围之内；反过来说就是，有一个平均的水平，可以让突出的事物能向他靠拢。
• 回归是由达尔文(Charles Darwin)的表兄弟Francis Galton发明的。 Galton于1877年完成了第一次回归预测,目的是根据上一代豌豆种子(双亲)的尺寸来预测下一代豌豆种子(孩子)的尺寸。Galton在大量对象上应用了回归分析,甚至包括人的身高。他注意到,如果双亲的高度比平均高度高,他们的子女也倾向于比平均高度高,但尚不及双亲。孩子的高度向着平均高度回退(回归)。Galton在多项研究上都注意到这个现象,所以尽管这个英文单词跟数值预测没有任何关系,但这种研究方法仍被称作回归 。
• 那些高个子的后代的身高，有种回归到大众身高的趋势。 eg: 姚明身高2米26，叶莉身高1米90， 但是他们后代的身高是会逐渐回归到正常的身高水平。

回归应用

• 销售量预测
• 制造缺陷预测。
• 预测名人的离婚率。
• 预测所在地区的房价。

线性回归

• 线性：利用算法生成的模型是一条直线。

• 回归：让数据聚集到一个特定的模型中。

• 线性回归：如果模型是一条直线，就是让数据靠近这条直线。
  自我理解：
  是一个回归算法，其中，回归指的是预测一个连续的，没有间断的值（可以想象成一条直线）
  公式：y = w0x0 + w1x1 + … + wnxn 其中，w指的是权重值，我们有时候用theta来代替，n指的是特征的数量，比如我们预测房价，特征有房屋面积， 卧室数量，那么n=2，x0 = 1， 这个是为了计算时方便。w0是截距，也就是如果y是一条之间，截距就是这条直线和y相交是：从0到交点的距离。….wn指的是系数,也即是每一个特征对应的权重（如果某一 个特征对输出值y的影响较大，那么这个权重值就高，反之就低）

• 线性回归的求解步骤（如何运用这个公式）：

  第一步：初始化w0…wn的值

  第二步：把我们的训练数据，带入这个公式里，求出y_hat(), 这个y_hat就是我们的预测值；我们的目的是为了让预测值无限接近于真实值

  第三步：求损失函数：一个公式来衡量预测值和真实值的差距，在线性回归中，这个函数叫做 MSE（均方误差)

  第四步：设法让损失函数最低。让损失函数最低的方法有很多种，最常用的就是梯度下降。梯度下降的意义：对于损失函数来说，在某一个很小的区间范围之内，让权重值，顺着损失函数下降的方向移动那么一小步。

• 小扩展：
  梯度下降公式：其中， a表示的是学习率࿰