“给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的k个实例,如果这k个实例的多数属于某个类,就把该输入实例分给这个类。”
K近邻算法英文全称为K-nearest neighbor(简称KNN),顾名思义,就是找出与输入样本最近的那个分类的邻居。KNN是一种基本的,用于分类与回归问题的方法。本文只讨论分类问题。
著名的鸭子测试中有一句流传甚广的话,“如果它看起来像鸭子,游泳像鸭子,叫声像鸭子,那么它可能就是只鸭子。” 这句话与KNN算法的核心思想不谋而合。
KNN的算法步骤一般而言是这样的:
- 在训练数据集X_train中,对输入的实例x,计算每一组样本到x的距离。
- 对这些距离进行排序,取出离x最近的k个样本。
- 取出这k个样本中占比最多的类别,并认为x属于这一类。
如图所示,当输入实例x时,我们先计算x到训练数据集X_train每一个样本点的距离,然后对这些距离进行从近到远(顺序)排序,并取出离x最近的k个点,图中可以看出k=4,并且在这4个点中(即黄圈中的点&