超参数选择方法

交叉验证

什么是交叉验证？

是一种数据集的分割方法，将训练集划分为 n份，拿一份做验证集 （测试集）、其他n-1份做训练集。交叉验证可以帮助确定模型的稳定性和准确性，从而提高模型的预测能力。

网格搜索

为什么需要网格搜索？

• 模型有很多超参数，其能力也存在很大的差异。需要手动产生很多超参数组合，来训练模型。

• 每组超参数都采用交叉验证评估，最后选出最优参数组合建立模型。

• 网格搜索是模型调参的有力工具。寻找最优超参数的工具！ 只需要将若干参数传递给网格搜索对象，它自动帮我们完成不同超参数的组合、模型训练、模型评估， 最终返回一组最优的超参数。

• 网格搜索 + 交叉验证的强力组合 (模型选择和调优)

• 交叉验证解决模型的数据输入问题(数据集划分)得到更可靠的模型

• 网格搜索解决超参数的组合

• 两个组合再一起形成一个模型参数调优的解决方案

利用KNN算法对鸢尾花分类 – 交叉验证网格搜索

knn案例：预测乳腺癌的良性或恶性