python计算离均差_KNN模型的Python实现

“给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，如果这k个实例的多数属于某个类，就把该输入实例分给这个类。”

K近邻算法英文全称为K-nearest neighbor(简称KNN)，顾名思义，就是找出与输入样本最近的那个分类的邻居。KNN是一种基本的，用于分类与回归问题的方法。本文只讨论分类问题。

著名的鸭子测试中有一句流传甚广的话，“如果它看起来像鸭子，游泳像鸭子，叫声像鸭子，那么它可能就是只鸭子。” 这句话与KNN算法的核心思想不谋而合。

KNN的算法步骤一般而言是这样的：

1. 在训练数据集X_train中，对输入的实例x，计算每一组样本到x的距离。
2. 对这些距离进行排序，取出离x最近的k个样本。
3. 取出这k个样本中占比最多的类别，并认为x属于这一类。

如图所示，当输入实例x时，我们先计算x到训练数据集X_train每一个样本点的距离，然后对这些距离进行从近到远（顺序）排序，并取出离x最近的k个点，图中可以看出k=4，并且在这4个点中（即黄圈中的点