Locally weighted linear regression局部加权线性回归

假设我们要学习的问题比较复杂，事先无法预测它的输入输出之间的函数关系，或者函数图形复杂，如下图：

如图1，若用直线拟合则与样本点差缪较大，称之为欠拟合，我们可以增加多项式函数的次数，此时可得到曲线，甚至可以使所有样本点都在曲线上如图3，但是这样会由更严重的问题，因为样本数量有限，所有可能带来很大偏差，这叫过拟合。

解决问题的方法之一就是适当对前面讲的线性回归进行调整，我们知道，任意光滑的曲线，在某一个很小的片段都近似为直线。那么自然引出了加权线性回归，当我们想要预测x1处的函数值时，我们只看重x1左右的小片段的分布情况，给附近的样本点很高的权值，较远的则给很小的权值。

具体实现：我们把成本函数稍加改动即可：

w（i）不一定要选这个，但这个函数比较理想，并且为数学处理带来一些方便。