K近邻浅谈笔记

 

~如果K=3，绿色圆点的最近的3个邻居是2个红色小三角形和1个蓝色小正方形，少数服从多数，基于统计的方法，判定绿色的这个待分类点属于红色的三角形一类。

~如果K=5，绿色圆点的最近的5个邻居是2个红色三角形和3个蓝色正方形，还是少数服从多数，基于统计的方法，判定绿色的这个待分类点属于蓝色的正方形一类。

对于未知类别属性数据集中的点：

1.计算已知类别数据集中的点与当前点的距离

2.按照距离依次排序

3.选取与当前点距离最小的K个点

4.确定前K个点所在类别的出现频率

5.返回前K个点出现频率最高的类别作为当前点预测分类

概述：

KNN算法本身简单有效，它是一种lazy-learning算法。

分类器不需要使用训练集进行训练，训练时间复杂度为0.

KNN分类的计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为n，那么KNN的分类时间复杂度为O（n）。

图像数据怎么计算呢？

 

最近邻代码：