【机器学习】由浅入深学习网格搜索

一、网格搜索的概念和意义

  在机器学习的广阔领域中，模型的性能往往取决于超参数的合理设置。超参数是在模型训练前需要手动设定的参数，如决策树的最大深度、随机森林的树的数量、支持向量机的惩罚参数等，它们不像模型内部的权重参数那样可以通过训练数据自动学习得到（比如线性模型中, $y={\theta }_0+{\theta }_1{X}_1+{\theta }_2{X}_2+...+{\theta }_n{X}_n$，其中，各个向量的权重参数[${\theta }_0,{\theta }_1,{\theta }_2,...,{\theta }_n$] 是由模型不断调整，以求得损失函数的最小值而得到的，这里的损失函数可以理解为预测值与观测值之间的差值，线性模型常用的损失函数比如有MAE绝对误差，MSE均方误差，R