机器学习第三课--LWR的疑惑与想法

（1）局部加权回归算法作为非参数化学习算法的一个例子，虽然我大概知道此算法想要表达的意思，但还是有一些困惑：

a.在使得目标函数J(\theta)最小化的过程中，既然不同的权值w(i)会因为x(i)与选定的点x 的距离远近的不同而不同，当权值w(i)为0时候，是否\theta的值可以随便取（因为此时的\theta所对应的w(i)为0）。

经过查看讲义，明白如下：w(i)的值不可能取为0，且非负。同样的，\theta的选取目标是让目标函数J(\theta)最小。具体如何求解\theta的方法和第二课时的类似，只不过前面增加了一个权值项而已。方便的一点在于：局部加权回归使用的是一次线性函数，所以求解较为方便。

b.局部加权回归算法属于非参数化学习算法，那么它和前面的梯度下降法的区别是什么？是否是局部加权法的\theta的个数是不确定的呢？在算法中如何表现出来我没看到。。。

解释：非参数化方法和参数化方法的区别（在课件上解释）在于\theta的取值会根据选定的预测点x的不同而重新选取（而参数化方法如第二课讲到的梯度下降法，是一次性训练，定下的\theta的值不会变），同时局部加权回归算法还会随着训练样本的增加而增加\theta的个数。