机器学习---积极学习与消极学习

积极学习（eager learning）

这种学习方式是指在进行某种判断之前，先利用训练数据进行训练得到一个目标函数，待需要时就只利用训练好的函数进行决策，显然是一种一劳永逸的方法；例如SVM；

消极学习（lazy learning）

这种学习方式不是根据样本建立一般化的目标函数并确定其参数，而是简单的将训练样本存储起来，直到需要分类新的实例时才分析其与存储的样例之间的关系，据此确定新实例的目标函数值；也就是说这种学习方式只有到了决策的时候才会利用已有的数据进行决策，而在这之前不会对样本进行训练；例如KNN；

区别

• 积极学习在进行决策时考虑到了所有的样本数据，虽然其耗费训练时间，但是决策时间几乎为0；
• 消极学习在决策时需要计算所有样例与查询点之间的距离，但是在真正决策时却只使用几个局部训练数据，所以它是一个局部的近似，虽然不需要训练，其复杂度为o(n)，其中  n 为样本的数量。由于每次决策时需要计算与每一个样本之间的距离，所以其含有一下缺点：需要的存储空间比较大；决策的过程缓慢。