sklearn-KNN算法

knn算法的原理：

通过计算预测数据与每个训练数据的距离，选出k个数据最近的数据作为参考，在选出的数据中，由target类分类，个数最多的类作为该次分类的结果。

knn算法的问题：当k值较小的时候，例如1 。这样在对于数据的评估的时候，可能受到异常值的影响，最后产生错误的结果。当k值较大的时候，假如已经超出某一个类别的数量，同样在排序的时候，其他的类别所占的比例会升高，导致结果错误

knn算法的API：

from sklearn.neighbors import KNeighborsClassifier

kNeighborsClassifier就是一个评估器，继承与estimator类

下面是对 iris 数据集的分类效果

from sklearn.datasets import load_iris
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

iris = load_iris()
x_train, x_test, y_train, y_test = train_test_split(
    iris.data, iris.target, random_state=0, test_size=0.2)

trans = StandardScaler()
x_train = trans.fit_transform(x_train)
# 注意这里，为了使得数据更加准确，对训练集做的操作应该和测试集相同，所以方差和平均数不改变
x_test = trans.transform(x_test)

estimator = KNeighborsClassifier(n_neighbors=10)
estimator.fit(x_train, y_train)

print(f"测试的结果为：{estimator.score(x_test, y_test) * 100}%")

测试的结果为：100.0%

可以看到数据都被正确的分类了，这是因为k值的设定。当我把k值设为3的时候，结果变成了96.7%。

总结：knn算法

1.优点：简单，易于理解，易于实现，无需训练

2.缺点

        1) 懒惰算法，对测试样本分类时的计算量大，内存开销较大

        2）必须指定k值，对于k的选取不当会导致分类的精度得不到保证

使用场景：小数据的场景，几千到几万的数据，左测试用