KNN（K最邻近分类算法）

K最近邻（KNN，K-NearestNeighbor）分类算法，是比较经典的分类算法，是将数据集合中每一个记录进行分类的方法，属于懒惰性学习算 法，只有当需要分类的向量到达时才开始构造泛化模型。是数据挖掘分类技术中最简单的方法之一。

算法中的每个样本都可以用它最接近的K个邻近值来代表。KNN算法比较适用于样本容量比较大的类域的自动分类，而那些样本容量较小的类域采用这种算法比较容易产生误分。

基本原理

在样本集中找出与 待分类向量 tVec 最相似的 k 个向量，然后统计这 k 个向量中 出现次数最多的类别，把 tVec 归属为此类。KNN算法主要涉及样本集、相似度的衡量、k 大小3个因素。

• 样本集也被称为训练集，是带有类别属性的向量集合；
• 两个向量的相似度一般通过计算它们的欧氏距离或余弦 度来衡量；
• k 的大小直接影响KNN算法的时空效率，如果 k 取值太小则容易受噪声的影响，k 取值过大，则近 邻中可能又包含过多其他类的数据点，因此一般情况 下， k 的取值一般不大于样本集的平方根。

KNN算法流程

步骤1 准备并预处理数据