KNN算法概述
k近邻(简称KNN)算法是一种简单的分类与回归方法。它不需要数学基础,也没有很难公式推导,但是往往它的预测效果却很不错。工作机制:给定测试样本,基于某种距离度量找出训练集中与其最靠近的K个训练样本,然后基于这K个”邻居“的信息来预测。
在分类任务中可使用“投票法”,即选择这K个样本中出现最多的类别标记。
在回归任务中可使用“平均法”,即将这K个样本的实值输出标记的平均值作为预测结果。
还可基于距离的远近进行加权平均或加权投票,距离越近的样本权重越大。
K近邻是一种‘懒惰学习’的代表,因为它训练阶段仅仅只是把样本保存起来,训练的开销为零,待收到测试样本后再进行处理。
特殊的,当K等于1时的分类器叫做“最近邻分类器”
KNN参数
KNN有两个重要的参数会影响预测结果。
第一个参数是K值的选择。如果选择较小的K值,这时,预测结果会对邻近的实例点非常敏感。如果邻近的实例点恰巧是噪声,预测就会出错。也就是容易发生过拟合。当选择较大的K值时,一些距离远的,不相似的训练实例也会起到预测作用,使预测发生错误。举个极端的例子,当K值等于训练样本数时,这时,无论测试集的输入是什么,它都将预测训练集中类别最多的点,这显然是不可取的。所以K值需要不断验证来选择。
第二个参数是距离计算方法的选择。常见的距离度量方式是欧式距离和曼哈顿距离,也可以根据实际情况来选择合适的距离度量方法。
参考文献
《机器学习》周志华著
《统计学习方法 第二版》李航著