机器学习中的急切学习方法和惰性学习方法

急切学习方法也叫积极学习方法,惰性学习方法也叫消极学习方法

积极学习方法,这种学习方法是指在利用算法进行判断之前,先利用训练集数据通过训练得到一个目标函数,在需要进行判断时利用已经训练好的函数进行决策,这种方法是在开始的时候需要进行一些工作,到后期进行使用的时候会很方便.

例如
以很好理解的决策树为例,通过决策树进行判断之前,先通过对训练集的训练建立起了一棵树,比如很经典的利用决策树判断一各新发现的物种是否为哺乳动物的例子,首先根据已经已知的训练集进行训练,提炼出哺乳动物的各种特征,这就是一个建立模型的过程,模型建立好之后,再有新物种需要进行判断的时候,只需要按照训练好的模型对照新物种挨个对比,就能很容易的给出判断结果.

消极学习方法,这种学习方法在最开始的时候不会根据已有的样本创建目标函数,只是简单的把训练用的样本储存好,后期需要对新进入的样本进行判断的时候才开始分析新进入样本与已存在的训练样本之间的关系,并据此确定新实例(新进入样本)的目标函数值.

例如
消极学习的典型算法KNN,KNN不会根据训练集主动学习或者拟合出一个函数来对新进入的样本进行判断,而是单纯的记住训练集中所有的样本,并没有像上边决策树那样先对训练集数据进行训练得出一套规则,所以它实际上没有所谓的"训练"过程,而是在需要进行预测的时候从自己的训练集样本中查找与新进入样本最相似的样本,即寻找最近邻来获得预测结果

积极学习方法和消极学习方法各自的特点

积极学习方法:在训练时考虑到了训练集中所有数据,训练时间比较长,有新样本进入需要判断的时候决策时间段.但是也是由于这个原因,做增量拓展的时候比较虐.

消极学习方法:几乎没有训练时间,在新样本进入做判断的时候计算开销大,时间长;但是呢天生支持增量学习.