算法梳理之线性回归

   线性回归模型作为算法梳理的第一个模型，也是机器学习中最为基础与容易理解的模型，在各个机器学习的书籍与教程中也是作为机器学习的引例。线性回归的数据集的形式为多个属性X与一个对应的Y，目的是求解X与Y之间的线性映射关系，优化求解参数的目标是降低预测值与Y之间的差别，“差别”的度量方式有很多种（如均方误差，均方根误差等等），其中均方误差可以看作是高斯噪声模型的假设下的最大似然解。若属性X只有一个，则在X，Y组成的二维空间下求解最小二乘法来估计参数。若属性X为多个，则可以写出均方误差的矩阵形式，通过正规化来求解，当求解不唯一的时候需要使用正则化等手段进一步约束并求解参数。
   一般向量形式：$f(x)=w^{T}x+b$,其中$w=(w_1;w_2;...;w_n)$,w和b学得之后，模型就得以确定。
   当属性的数目只有一个的时候：
   试图学习$f(x_i)=w{x}_i+b_i$，使得$f(x_i)\approx y_i$。
  采用均方误差作为衡量$f(x)和y$的度量，选取$w和b$使得均方误差的结果最小的过程就是线性回归模型的最小二乘“参数估计”，最小二乘法就是试图找到一条直线，使得所有样本到直线上的欧氏距离之和最小。

( w ∗ , b ∗ ) = arg ⁡ min ⁡ ∑ i = 1 m ( y i − w x i