这次,教授给了一个算法——局部加权回归。
在讲述之前,教授告诉了我们什么是欠拟合和过拟合,这也是为什么要局部加权回归的原因之一吧。
局部加权回归在我的理解就是,给定x,在进行拟合的时候,我们更看重x周围的值,而离x太远的值,我们可以不重视甚至是无事,这样的话,局部拟合的效果会比较好一些。
其实,算法与上集的相差不多,不过多加了一个参数来作为权值:
权值的计算是:
权值的变化总体来说就是,离x越近,权就越大,越远越小。
到了这里,可以发现,当你现在有值要进行计算的时候,你必须重新拟合一次,因为局部加权回归是针对不同x值有不同的权值的,也就是说,不同的x值对应一个计算公式,那计算量可就大大的了。。。对了,上面中那个τ是波长函数,用来控制权值的变化的。详细可见视频。
在讲完这个之后,教授利用了大部分时间来讲述,为什么使用最小二乘回归而不同其他的,其实那段好多地方不太明白,所以我也就大概看了一下,不敢写出自己的理解,其中那块用到了一个极大似然估计,到时候要那本书翻翻了。
后面教授讲了一下分类算法,但是只提了个头,在第四集应该会进行相应的讲解。