机器学习之局部加权线性回归

局部加权线性回归（Locally Weighted Linear Regression）

算法背景：

现实生活中很多数据采用线性模型不能很好的描述，比如说房价预测的问题，直线不能很好的拟合所有的数据点，甚至存在较大的误差，我们可能采用一条类似于二次函数的曲线可以拟合的更好。但是为了解决在非线性模型里建立线性模组的问题，我们预测一点的值时，选择与这个点相近的点而不是所有的点做线性回归。基于此，产生了局部加权回归算法。

算法思想：

局部加权回归是基于非参数学习算法的思想，使得特征的选择更好。赋予预测点附近每一个点以一定的权值，在这上面基于波长函数来进行普通的线性回归.可以实现对临近点的精确拟合同时忽略那些距离较远的点的贡献，即近点的权值大，远点的权值小，k为波长参数，控制了权值随距离下降的速度，越大下降的越快。越小越精确并且太小可能出现过拟合的问题。

普通的线性回归函数使用的最小二乘法，即cost函数是

要使得J(Θ)最小化，求得线性回归参数