【机器学习入门】局部加权回归

线性回归：拟合参数$\theta$使得$\sum_i (y^{(i)} - \theta^Tx^{(i)})^2$最小，返回$\theta^T x$作为预测值。

局部加权回归(Local Weighted Regression, LWR)是这样一个模型：
当你需要拟合$x$时，检查数据集，并且只考虑那些位于$x$周围的那些点。对$x$附近的数据子集使用线性回归来拟合出一条直线。然后根据这条直线的预测值作为返回结果。
因此在LWR中，我们需要拟合$\theta$来最小化

$$\sum_i w^{(i)}(y^{(i)} - \theta^T x^{(i)})^2$$
其中， $w^{(i)} = exp(-\frac{(x^{(i)}-x)^2}{2})$.
假设你有一个样本 $x$，如果$x$距离 $x^{(i)}$非常接近，那么 $(x^{(i)}-x)^2$会非常小，则 $w(x^{(i)}-x)^2$就接近于1，那么 $x$与$x^{(i)}$相关性权值接近于1。反之，二者越远相关性权值就越接近于0。
因此，如果我需要确定一个点 x <script type="math/tex" id="MathJax-Element-2459">x</script>，我给近的点赋较高权值，远的点赋低权值。那么它最终比较注重和近的点拟合，而倾向于忽略远的点对模型的贡献。

缺点：每对一个点进行预测，需要重新计算新的模型。