认知实习记录day04-KNN算法（三）

一.超参数选择方法

1.交叉验证

（1）定义：交叉验证是一种数据集的分割方法，将训练集划分为n份，拿一份做验证集（测试                            集）、其他n-1份做训练集。

（2）原理：将数据集划分为cv=4份

            a.第一次：把第一份数据做验证集，其他数据做训练；

            b.第二次：把第二份数据做验证集，其他数据做训练；

            c.....以此类推，总共训练4次，评估4次；

            d.使用训练集+验证集多次评估模型，取平均值做交叉验证为模型得分；

            e.若k=5模型得分最好，再使用全部训练集(训练集+验证集)对k=5模型再训练一遍，再使用                 测试集对k=5模型做评估。

（3）目的：交叉验证法是划分数据集的一种方法，目的就是为了得到更加准确可信的模型评分。

2.网格搜索 

•    网格搜索是模型调参的有力工具。寻找最优超参数的工具，只需要将若干参数传递给网格搜索对象，它自动帮我们完成不同超参数的组合、模型训练、模型评估，最终返回一组最优的超参数。•    网格搜索+交叉验证的强力组合(模型选择和调优)

      •交叉验证解决模型的数据输入问题(数据集划分)得到更可靠的模型；

      •网格搜索解决超参数的组合；

      •两个组合再一起形成一个模型参数调优的解决方案。

3.交叉验证网格搜索API实现

（1）代码实现

 

（2）结果展示

 

二.案例-利用KNN实现手写数字识别

1.目的

      从数万个手写图像的数据集中正确识别数字。

2.过程及结果展示

（1）代码实现

  

（2）结果展示