集成学习（上）--4

参数与超参数

岭回归中的参数$\lambda$是一种超参数而参数w是参数。

因此，类似于参数w一样，使用最小二乘法或者梯度下降法等最优化算法优化出来的数我们称为参数，类似于
一样，我们无法使用最小二乘法或者梯度下降法等最优化算法优化出来的数我们称为超参数。

网格搜索

sklearn中的GridSearchCV实现了“fit拟合”与“score打分”。如果在估计器中实现了“score_samples得分采样”“predict预测”“predict_proba预测概率”“decision_function决策函数”“transform变换”“inverse_transform反变换”则也认为实现了网格搜索。

eg：需要选择两个超参数：首先得到两组参数的全部组合形式，然后针对每组超参数分别建立一个模型，然后选择测试误差最小的那组超参数。换句话说，我们需要从超参数空间中寻找最优的超参数，很像一个网格中找到一个最优的节点，因此叫网格搜索。

随机搜索

与网格搜索相反的是，并非所有的参数值都要被测试，而是只有确定数量的参数集被从特定的分布中采样出来。待测试的参数集数量由n_iter给出。
如果所有参数均以列表形式显示，则将执行不替换的采样。 如果给定至少一个参数作为分布，则使用有替换抽样。 强烈建议对连续参数使用连续分布。

网格搜索相当于暴力地从参数空间中每个都尝试一遍，然后选择最优的那组参数，这样的方法不够高效。与之不同的随机搜索，在参数的随机搜索中的每个参数都
是从可能的参数值的分布中采样的。