机器学习中的lazy method与eager method的比较

一 分类方法

机器学习的算法进行分类的时候，一般是根据是否有监督分为：无监督学习，有监督学习，半监督学习。有时候会再加上强化学习(Reinforcement learning)。

但是，根据算法的原理，还有另一种分类方法。即：

如果算法对整个训练数据集并没有训练得到一个整体的模型，这样，对于每一个新的测试数据点，都需要根据该点和训练数据集来对目标函数进行预测，叫做lazy method。叫lazy的原因是因为他是“被动的”等待新的测试数据到来，才开始对其进行预测，而不是早早的根据训练数据集把模型建好，对与新的测试数据，只需要往模型中代入就可以得到结果了。后一种先算好模型再进行预测的算法叫做eager method。

二 典型算法

lazy method的典型算法是KNN, LWR(locally weighted regression, LWR可以看作是KNN中将邻域概念进行推广), Case-based reasoning（这个算法还不太懂？）；eager method算法则多了，除了lazy method中提到的三种算法之外，几乎所有的机器学习算法都可以认为是eager method，比如linear regression, logistic regression, ANN, SVM, decision tree, relation rule, etc., 因为他们都是根据训练数据集建立好模型从而对新数据进行预测的。其中，RBF(radical basis function networks)算是一种其中比较特殊的一种（特殊在哪里稍后讲）。

三 Lazy method与Eager Method的解释和比较

lazy meth