数据挖掘领域十大经典算法之—K-邻近算法/kNN（超详细附代码）

相关文章：

• 数据挖掘领域十大经典算法之—C4.5算法（超详细附代码）
• 数据挖掘领域十大经典算法之—K-Means算法（超详细附代码）
• 数据挖掘领域十大经典算法之—SVM算法（超详细附代码）
• 数据挖掘领域十大经典算法之—Apriori算法
• 数据挖掘领域十大经典算法之—EM算法
• 数据挖掘领域十大经典算法之—PageRank算法
• 数据挖掘领域十大经典算法之—AdaBoost算法（超详细附代码）
• 数据挖掘领域十大经典算法之—朴素贝叶斯算法（超详细附代码）
• 数据挖掘领域十大经典算法之—CART算法（超详细附代码）

简介

又叫K-邻近算法，是监督学习中的一种分类算法。目的是根据已知类别的样本点集求出待分类的数据点类别。

基本思想

kNN的思想很简单：在训练集中选取离输入的数据点最近的k个邻居，根据这个k个邻居中出现次数最多的类别（最大表决规则），作为该数据点的类别。kNN算法中，所选择的邻居都是已经正确分类的对象。

e.g：下图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果k=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果k=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类