回归算法

一、概念

        回归分析利用样本（已知数据），产生拟合方程（根本作用），从而对未知数据进行预测。

        如果用自变量x和因变量y表示他们两者的关系，

可以表示为：，

为关系方程的参数，此外，还受到噪声（误差）的影响：

        如，一组随机变量，和另一组随机变量，那么研究和之间的关系的统计方法，就叫作回归分析。假设和只是一个单一的映射关系，那么又可以称之为一元回归。

二、分类

1. 线性回归

        线性回归可以分为一元线性回归和多元线性回归。

        一元线性回归：只有一个自变量的回归。

输入：一元自变量，一元因变量，

—— n个样本，

回归模型可以表示为：，模型参数则为：

        实际上，表示样本的点，几乎很少会在回归模型这条线上，而回归模型正正是我们假设出来的线，可以任意取值的，那么如何取值才合适呢？这就是我们真正关心的，需要求出来的。判断取值合适的标准是样本的拟合程度。

        衡量拟合度，可以用各个样本点到回归模型的距离的和来表示，只要得出他们距离的和最小，那就说明该回归模型的拟合程度最好，这种情况下的就是我们想要的值。但是计算欧氏距离并不容易算，计算量也很大，这时可以转换成计算另一种距离——垂直距离（如下图的绿色线）。用于衡量拟合度的话，两种距离的意义是一样的。