KNN算法的实现（R语言）

最新推荐文章于 2024-04-27 08:00:00 发布

afvko8191

最新推荐文章于 2024-04-27 08:00:00 发布

阅读量1.2k

点赞数

文章标签： r语言数据结构与算法

原文链接：http://www.cnblogs.com/chenyusheng0803/p/9538548.html

版权

K-近邻算法（KNN）是一种基于距离度量的分类方法，用于解决测试对象与训练对象匹配的问题。KNN通过选取最近的K个邻居来决定待分类对象的类别，K值的选择影响分类结果。本文介绍了KNN的基本思想，包括计算对象间距离、选择K个最近邻并根据类别频率决定分类，并提供了一个简单的R语言实现示例，展示了如何通过调整K值优化分类效果。

摘要由CSDN通过智能技术生成

一 . K-近邻算法（KNN）概述

最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢，其次就是存在一个测试对象同时与多个训练对象匹配，导致一个训练对象被分到了多个类的问题，基于这些问题呢，就产生了KNN。

　　KNN是通过测量不同特征值之间的距离进行分类。它的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

　　下面通过一个简单的例子说明一下：如下图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。由此也说明了KNN算法的结果很大程度取决于K的选择。