线性回归LR和局部加权线性回归LWLR算法简介

1.线性回归（LinearRegression）

        回归模型可以使用一个回归方程（regressionequation）来描述，其中求解回归系数（regression weights）的过程即称为回归。

        线性回归使用最小二乘法（ordinaryleast squares），即基于均方误差最小化模型的求解：

用矩阵表示可以写成

对sita求偏导可得

令偏导等于零，解出sita的最优估计解为：

 

则预测输出为：

        然而，现实任务中X^TX往往不满秩，如样例的特征数目大，甚至超过样例数时，此时可解出多组sita使得均方误差最小化。当X^TX不满秩时，常见的做法是引入正则化（regularization）项，将不适定的问题转化为适定问题，如岭回归（ridge regression）和lasso算法等。

        参数学习算法（Parametriclearning algorithm）是指有固定数目的参数用于进行数据拟合的算法，如线性回归有固定参数集合sita；非参数学习算法（Non-parame