局部加权线性回归（LWLR）

考虑从x∈R中预测y的问题。下面最左边的图显示了将拟合到数据集的结果。我们看到数据并不是直线上的，所以拟合不是很好。

取代原来的方法，如果我们加上一个额外的特征 ，并用 来拟合数据，你会发现效果稍微好了那么一点（看中间这幅图片）。似乎可以天真地认为，我们添加的特征越多越好。然而，添加的特征太多也是很危险的：最右边的图像是使用一个五次多项式 来拟合数据的结果。我们看到，即使拟合曲线完美地穿过数据，我们也无法确定这就是一个相当好的预测，能够针对不同生活地区 来预测房价 。在还没有正式地定义这些术语之前，我们可以说最左侧的图像展示的是一种 欠拟合（underfitting） 的实例 —— 很明显看出模型未能捕获到数据的结构 —— 最右侧的图像展示的是一种 过拟合（overfitting） 的实例。（在这节课的后面部分，当我们谈到学习理论的时候ÿ