1、模型原理
(一)原理
1、原理:是一种常用的监督学习方法,给定测试样本,基于某种距离度量找出训练集中与其最靠近的k个训练样本,然后基于这k个“邻居”的信息来进行预测。也有无监督的最近邻,暂不讨论。
2、判定方法主要有两种:
(1)在分类任务中的可使用“投票法”,即选择这k个样本中出现最多的类别标记作为预测结果;
(2)在回归任务中可使用“平均法”,即将这k个样本的标记平均值作为预测结果。
(3)还可以根据距离远近,对样本进行加权,实现加权平均或加权投票。
(二)注意点:
1、距离度量方法不同,找到的“近邻”也可能有显著区别,进而导致分类结果不同。通常是用欧式距离,即平方和开根号。
2、k在其中是一个相当重要的参数,k取值不同时,分类结果会有显著不同。
3、
(三)相关概念
1、“维度灾难”,如果样本的属性维度过多,在这种高维情况下,会出现数据样本稀疏(不密集,太过分散),距离计算困难等问题,这是所有机器学习方法共同面对的问题,被称为维度灾难。
2、由于这种情况,就需要进行降维。在低维空间中保持样本点间的距离不变,最简单的是对原始的高维空间进行线性变换,主成分分析就是最常见的一种线性降维方法。
有时,需要非线性映射才能找到恰当的低维嵌入,就会采用比如“核技巧”等非线性降维方法。
这里引申出来了“主成分分析”方法,可以在下面做补充。
(四)Python实现步骤
(1)计算已知类别数据集