k 近邻加权平均

k 近邻(k-Nearest Neighbor，简称 kNN)学习是一种常用的监督学习方法， 其工作机制非常简单: 给定测试样本?基于某种距离度量找出训练集中与其最 靠近的 k 个训练样本，然后基于这 k 个"邻居"的信息来进行预测. 通常， 在分 类任务中可使用"投票法" 即选择这 k 个样本中出现最多的类别标记作为预 测结果;在回归任务中时使用"平均法" ，即将这 k 个样本的实值输出标记的 平均值作为预测结果;还可基于距离远近进行加权平均或加权投票，距离越近 的样本权重越大.
与前面介绍的学习方法相比， k 近邻学习有一个明显的不同之处: 它似乎 没有显式的训练过程!事实上，它是"懒惰学习" (lazy learning)的著名代表， 此类学习技术在训练阶段仅仅是把样本保存起来，训练时间开销为零，待收到 测试样本后再进行处理;相应的，那些在训练阶段就对样本进行学习处理的方 法，称为"急切学习" (eager learning).