线性回归:利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。
与感知器学习类似,不过回归的目的是预测数值型的目标值。求得回归系数,即得出模型。
简单的线性回归有可能出现欠拟合的现象,这是由于数据表现不是线性的,这时线性回归得不到很好的预测结果。
局部加权线性回归:不做定义,只做比较。增加的局部加权,类似KNN的思想,离待遇测点距离越近的点,权值越大,近似得到预测点局部线性方程。
LWLR使用核(类似SVM中的核),最常用的是高斯核,其中参数σ越接近1,函数约接近全部点的线性回归模型;越接近0,越少的点,且越接近预测点的局部点用于训练模型。
(该方法需已知待预测点,再构建模型)
有篇blog有个不错的例子:http://blog.csdn.net/allenalex/article/details/16370245
《机器学习实战》上也有几个例子,便于理解