机器学习算法—KNN算法原理

机器学习算法—KNN算法原理

概述：

KNN算法一般也会经常被称为K邻近算法，其核心思想是根据训练集中的样本分类计算测试集中样本与训练集中所有样本的距离，根据所设定的K值选取前K个测试样本与训练样本最近的结果，结果中大多数训练样本所处在的类别即是本测试样本的类别。因训练样本的分类结果为已知因此KNN算法属于有监督学习算法。

算法原理：

1、以下图样本散点图展示训练集的整体分布情况

从散点图中可以发现训练集的数据分类数量为3个类别，分别为蓝色类别、红色类别和黄色类别，训练样本总数为15个。
2、导入第一个测试样本

3、需要根据已知的训练样本分类结果判断测试样本的类别，因此计算测试样本与所有训练样本的距离

因训练样本数量为15，所以计算完成的距离参数为15个。
4、K值是KNN算法中唯一需要设定的参数，假定K值为3则在15个距离参数中选择最近的3个