机器学习算法：K近邻(k-nearest neighbors)初探

KNN的介绍和应用

KNN（K-Nearest Neighbor）算法是一种基于实例的学习算法，也是一种常见的分类算法。
如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

示例 ：如上图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。

KNN建立过程

KNN算法的工作流程如下：

• 准备训练集：我们需要有一个已标记的训练集，其中包含多个已标记的数据样本，即每个样本都有对应的类别。

• 计算相似度：对于一个未知样本，在训练集中找到与之距离最近的K个样本，通常使用欧几里得距离或曼哈顿距离等方法来计算不同样本之间的距离或相似度。一般来说，距离越近的样本在特征上是越相似的，因此被归为同一类别的概率更大。

• 进行投票：根据这K个最邻近的样本，我们可以使用多数表决的方式来预测未知样本的类别。即在这K个样本中出现次数最多的类别，就是当前未知样本所属的类别。

类别的判定

①投票决定，少数服从多数。取类别最多的为测试样本