K-NN算法（K-Nearest Neighbor）

原理思想：若一个样本在特征空间中的K个最相似的样本中的大多数属于同一个类别，则该样本也属于这个类别。

度量距离：欧式距离

算法大致步骤：

          1.计算已知集内的样本与待测样本的距离

          2.对距离由小到大进行排序，找出前K个点

          3.在这K个点中，统计每个类别出现的次数

          4.选择出现次数最多的点作为待测样本的类别

K值选择问题：

       K值选择过小，会使待测点的分类和它距离最近的点相关，受噪点影响大，近似误差减小，估计误差增大，造成过拟合。

       K值选择过大，会使待测点的分类偏向集内数量最多的点，近似误差增大，估计误差减小。

       实际应用中，K一般通过算法（如交叉验证法）取一个比较小的数值。