网格搜索与模型融合
任务:
1)进一步通过网格搜索法对3个模型进行调优(用5000条数据,调参时采用五折交叉验证的方式),并进行模型评估,展示代码的运行结果。(可以尝试使用其他模型)
2)模型融合,模型融合方式任意,并结合之前的任务给出你的最优结果。例如Stacking融合,用你目前评分最高的模型作为基准模型,和其他模型进行stacking融合,得到最终模型及评分结果。
下面具体介绍网格搜索、交叉验证、模型融合。
网络搜索
参考资料:
https://blog.csdn.net/hdu_lazy_man/article/details/79590598
在机器学习中,我们说的调参里的参数指的是超参数,即对于模型的整体规划具有重要意义的指标:例如支持向量机中的乘法因子C(用于权衡经验风险和模型复杂度),当支持向量机核函数是为径向基RBF核函数,对应的钟型函数的宽度gamma就是核函数对应的超参数。只有当这两个超参数都确定的条件下,对相应支持向量机模型喂给数据后就能自动将模型参数-特征系数训练出来。
但是如何确定模型中的超参数(比方说是径向基支持向量机中的超参数C和gamma)?
将机器学习模型需要确立的超参数进行列表操作,框定这些超参数的取值范围。当模型只对应于一个超参数时就是一维坐标,当对应于两个超参数时就可以构建二维坐标,设计每个超参数的优化步进值,得到超参数的网格分离。<