KNN(最近邻)算法思想

KNN(最近邻)算法思想

顾名思义，最近邻算法就是在前K个最有可能的结果中选取概率最大的那个结果。

如上图，蓝点代表3个成绩不好的学生，红点代表3个成绩优秀的学生，X和Y轴分别代表学生的到课率和作业完成情况。如果现在有一个学生，其到课率位30%，作业完成度在40%，我们在图上找到该样本的位置，然后计算他到六个样本的距离，取该样本距离前K个样本最近的距离，然后看前K个样本中属于哪个类别的概率最大，这样在前 K个样本中选择频率最高类别的方法就叫做最近邻算法。
其算法步骤总结如下：
1、算目标样本和其他样本之间的距离
2、找与目标样本最近的K个样本邻居
3、找出K个样本中所属类别最多的那个类别
找出的类别便是目标样本所属的类别。
最近邻思想一般用在多分类器中。