随机搜索RandomizedSearchCV原理

随机搜索RandomizedSearchCV原理

本文链接：https://blog.csdn.net/qq_36810398/article/details/86699842

一、问题描述及代码示例

（1）超参数优化也就是常说的调参，python-sklearn里常用的有GridSearchCV和RandomizedSearchCV可以用。其中GridSearchCV的原理很简明，就是程序去挨个尝试每一组超参数，然后选取最好的那一组。可以想象，这个是比较费时间的，面临着维度灾难。因此James Bergstra和Yoshua Bengio在2012年提出了超参数优化的RandomSearch方法。

（2）RandomizedSearchCV是在论文的基础上加入了cross-validation，代码示例如下（选自官方文档）：

import numpy as np
from scipy.stats import randint as sp_randint
from sklearn.model_selection import RandomizedSearchCV
from sklearn.datasets import load_digits
from sklearn.ensemble import RandomForestClassifier

# 载入数据
digits = load_digits()
X, y = digits.data, digits.target

# 建立一个分类器或者回归器
clf = RandomForestClassifier(n_estimators=20)

# 给定参数搜索范围：list or distribution
param_dist = {"max_depth": [3, None],                     #给定list
              "max_features": sp_randint(1, 11),          #给定distribution
              "min_samples_split": sp_randint(2, 11),     #给定distribution
              "bootstrap": [True, False],                 #给定list
              "criterion": ["gini", "entropy"]}           #给定list

# 用RandomSearch+CV选取超参数
n_iter_search = 20
random_search = RandomizedSearchCV(clf, param_distributions=param_dist,
                                   n_iter=n_iter_search, cv=5, iid=False)
random_search.fit(X, y)

二、RandomSearchCV是如何"随机搜索"的

考察其源代码，其搜索策略如下：
（a）对于搜索范围是distribution的超参数，根据给定的distribution随机采样；
（b）对于搜索范围是list的超参数，在给定的list中等概率采样；
（c）对a、b两步中得到的n_iter组采样结果，进行遍历。
（补充）如果给定的搜索范围均为list，则不放回抽样n_iter次。

更详细的可以参考sklearn-RandomizedSearchCV的ParameterSampler类的代码。

三、RandomSearch为什么会有效

下图是原论文里说明为何随机搜索在某些情况下会更有效的原理示意图：

（a）目标函数为 f(x,y)=g(x)+h(y)，其中绿色为g(x),黄色为h(y)，目的是求f的最大值。
（b）其中由于g(x)数值上要明显大于h(y)，因此有f(x,y)=g(x)+h(y)≈g(x)，也就是说在整体求解f(x,y)最大值的过程中，g(x)的影响明显大于h(y)。
（c）两个图都进行9次实验（搜索），可以看到左图实际探索了各三个点（在横轴和纵轴上的投影均为3个），而右图探索了9个不同的点（横轴纵轴均是，不过实际上横轴影响更大）。
（d）右图更可能找到目标函数的最大值。
因此引入随机因素在某些情况下可以提高寻优效率。

四、其他

参考文献： Bergstra J , Bengio Y . Random Search for Hyper-Parameter Optimization[J]. Journal of Machine Learning Research, 2012.