K-近邻算法

定义

如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别

距离公式

两个样本的距离可以通过如下公式计算，又叫欧式距离

电影类型分析

假设我们有现在几部电影

其中？ 号电影不知道类别，如何去预测？我们可以利用K近邻算法的思想

鸢尾花类型举例

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
def kn_demo():
    # 获取数据集
    iris=load_iris()
    # 划分数据集
    x_tarin,x_test,y_train,y_test=train_test_split(iris.data,iris.target,random_state=20)
    # 标准化
    transfer=StandardScaler()
    x_tarin=transfer.fit_transform(x_tarin)
    x_test=transfer.transform(x_test)
    # kn算法
    estimator=KNeighborsClassifier(n_neighbors=3)
    estimator.fit(x_tarin,y_train)#开始训练
    #KNN没有显示的训练过程，它是“懒惰学习”的代表，它在训练阶段只是把数据保存下来，训练时间开销为0，等收到测试样本后进行处理。

    y_predict=estimator.predict(x_test)
    print(y_predict)
    print(y_test==y_predict)

能够输出预测值以及预测值和真实值是否相等

总结:

1、k值取多大？有什么影响？
k值取很小：容易受到异常点的影响

k值取很大：受到样本均衡的问题

2、性能问题？
距离计算上面，时间复杂度高

优点：
简单，易于理解，易于实现，无需训练
缺点：
懒惰算法，对测试样本分类时的计算量大，内存开销大
必须指定K值，K值选择不当则分类精度不能保证
使用场景：小数据场景，几千～几万样本，具体场景具体业务去测试

调优:

应用GridSearchCV实现算法参数的调优

什么是交叉验证

将拿到的训练数据，分为训练和验证集。以下图为例：将数据分成4份，其中一份作为验证集。然后经过4次(组)的测试，每次都更换不同的验证集。即得到4组模型的结果，取平均值作为最终结果。又称4折交叉验证。

我们之前知道数据分为训练集和测试集，但是为了让从训练得到模型结果更加准确。做以下处理

训练集：训练集+验证集
测试集：测试集

超参数搜索-网格搜索(Grid Search)

通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。

estimator：估计器对象
param_grid：估计器参数(dict){“n_neighbors”:[1,3,5]}
cv：指定几折交叉验证
fit：输入训练数据

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
# 使用模型调优
from sklearn.model_selection import GridSearchCV

def knn_demo_gscv():
    # 获取数据集
    iris = load_iris()
    # 划分数据集
    x_tarin, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=13)
    # 标准化
    transfer = StandardScaler()
    x_tarin = transfer.fit_transform(x_tarin)
    x_test = transfer.transform(x_test)
    # kn算法
    estimator = KNeighborsClassifier()
    param={"n_neighbors":[1,3,5,7,9,11]}
    estimator=GridSearchCV(estimator,param_grid=param,cv=10)
    estimator.fit(x_tarin, y_train)
    # KNN没有显示的训练过程，它是“懒惰学习”的代表，它在训练阶段只是把数据保存下来，训练时间开销为0，等收到测试样本后进行处理。

    y_predict = estimator.predict(x_test)
    print(y_predict)
    print("最佳参数",estimator.best_params_)
    print("最佳结果",estimator.best_score_)
    print("准确率",estimator.score(x_test,y_test))

[1 1 0 2 2 0 2 2 0 1 2 1 1 0 2 0 2 2 1 0 1 0 0 2 1 2 0 2 1 2 2 0 0 2 2 1 0
 1]
最佳参数 {'n_neighbors': 7}
最佳结果 0.9636363636363636
准确率 0.9736842105263158