监督学习四 基于实例的学习

1、基于实例的学习（instance-based learning）

      这应该是机器学习算法中最简单的算法，它不像其他算法需要在样本的基础上建立一般性的推理公式，而是直接通过存储的数据集进行分类或回归学习来得到结果。

     它的缺点是对存储空间的需求很大，需要占用的空间直接取决于实例数量的大小，并且预测的时候需要与已知的实例进行比对，运行时间会相对慢。

2、饥饿式学习 & 懒惰式学习

      区别点：懒惰式学习在对新实例进行预测之前不需要进行训练数据。

                      基于实例的学习就是懒惰式学习的一种。

3、KNN算法（K-Neighbor-Nearest ）

      →通过测量不同特征值之间的距离进行分类。

      ※主要思路：

              如果一个样本在特征空间中的K个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则样本也属于这个类别。K通常是不大于20的整数。

              KNN算法中，所选择的令居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或几个样本的类别来决定待分类样本所属的类别。

             注：KNN算法的结果很大程度上取决于K值的选择。

      例子：如下图所示，蓝色的原点属于哪一类？