Grid Search简介

Grid Search简介

​ ​ 跟人聊天时听到Grid Search，一开始还以为误以为是Beam Search了，后来查阅了一下才了解了它的意思。
​ ​ Grid Search是一种调参的手段，即穷举，穷举所有的超参组合。

​ ​ 当你对决策树调参，如果只对一个超参优化，比如树的最大深度，尝试[3, 5, 7]。那么可以表示为

​ ​ 如果你还想对分裂标准进行调参，分别试试gini和entropy，那么就相当要对2×3=6组参数进行尝试。如下图

​ ​ 所以这就是为什么叫做gird search，网格搜索。grid search是对网格中每个交点进行遍历，从而找到最好的一个组合。网格的维度就是超参的个数。如果有k个超参，每个超参有m个候选，那么我们就要遍历$k^m$个组合。所以说尽管效果不错，但是计算代价是非常非常大的。