机器学习——K-NN算法

目录

一.  KNN的原理

二.  K-NN算法的注意事项

        1. 如何选取K值

        2. K-NN算法的优点

        3. K-NN算法的缺点

三.  算法的Python实现

        （1）用原理实现K-NN

        （2）调用sk-learn实现K-NN

一.  KNN的原理

        KNN（K近邻算法）是机器学习中常用于分类的机器学习算法。我们先思考一个问题，即假设有两个类别，即类别A和类别B。此时我们有一个新的数据点x1，那么我们要把这个新的数据点x1分到哪一类呢？是分到A还是分到B呢？问题如下图所示。

用KNN的来分类的步骤一般如下：

• step1：选择邻居的数量K
• step2：计算所有点与新数据点的欧式距离
• step3：根据计算出的欧氏距离取K个最近邻的点
• step4：统计K个最近邻的点中各个类别的点的数量
• step5：将数据点分配给邻居数量最大的类别

根据上面的KNN的原理，我们来对上面的问题求解：

• 首先，我们将邻居数量K设置为K = 5。
• 接着，我们计算数据点和所有点之间的欧式距离

A点与B点欧式距离为  

• 通过计算新数据点与所有点的欧式距离，我们得到与数据点最近的K（K = 5）个点

• 如图，通过统计K近邻点的类别，我们得出靠近数据点的K（K = 5）个近邻点中，A类有3个，B类有2个，最后我们将数据点划分给A类。

二.  K-NN算法的注意事项

        1. 如何选取K值

                （1）K是一个