K最邻近算法（KNN)

KNN简介

Knn全称是K-Nearest Neighbor，从名称中可以看出这个算法与最邻近有关，既能用于回归问题，也能用于分类问题。KNN根据数据点之间的距离来做分类（回归）。

KNN主要因素

1、距离：一般使用欧氏距离，也可以使用曼哈顿距离等。

2、K值：

        当K越小的时候，模型就越容易过拟合，因为预测结果与最邻近一个样本点强相关。

        当K越大的时候，模型就越容易欠拟合，因为预测结果要考虑所有样本的情况，就相当于没有预测。

        对于K的取值，可以通过交叉验证选择一个合适的K值，也可以通过对比准确率，选取效果最好的K值。

KNN优缺点

1、优点：

        （1）训练速度快。

        （2）对异常值不敏感，对K值敏感。

        （3）在处理边界不规则的数据的分类问题时要比线性分类器的效果好。

2、缺点：

        （1）样本不平衡时对准确率的影响较大。

        （2）对距离敏感，因此需要对数据做归一化处理。

        （3）计算开销大，只适合小数据集，不适合做大的数据集。

代码实现

若数据的量纲不统一，则在加载数据后一定要做数据的归一化处理（数据的归一化可参考