lecture3 locally weighted & logistic regression

locally weighted regression:

terminologys:

parametric learning:有具体的参数θ，和数据多少无关(比如线性回归)。

non-paramatric learning:没有具体的参数，需要的内存会线性增长。

       如果是一个曲线，如何进行拟合？线性回归可能误差很大，当然可以采用feature selection选择二次或者三次函数指数函数这样的进行拟合，但是曲线变的很扭曲，怎么选择feature？

       采用局部加权回归，终点放在预测点的旁边，给予较大的权重，其他的地方权重降低。

      类似下面这张图，他权重的分配有一点像正态分布，很远的地方权重几乎是零。 其中的tau决定权重曲线的宽度。它的选择很有技巧，可以看到tao越大拟合越平滑。有很多论文。局部回归通常是作用于小数据集，并且难以判断曲线类型。