a1集成学习上-04掌握回归模型的评估及超参数调优-202103

参数和超参数的区别

参数（model parameter）：
模型根据数据自动学习得出的变量，应该就是参数。比如，深度学习的权重，偏差等，比如线性回归的系数
超参数（model Hyperparameter）：
用于确定模型的参数，超参数不同，模型是不同的，比如假设都是CNN模型，如果层数不同，模型不一样，虽然都是CNN模型。超参数一般根据经验确定。在深度学习中，超参数有：迭代次数，层数，每层神经元的个数等等。

超参数搜索——网格搜索和随机搜索

网格搜索
适用于三四个（或者更少）的超参数，网格搜索的思想非常简单，比如有2个超参数需要去选择，那你就把所有的超参数选择列出来分别做排列组合。针对每组超参数分别建立一个模型，然后选择测试误差最小的那组超参数。就像在沙堆上淘金，把沙堆按比例分成格子，淘了一格再去淘下一格，这是网格搜索。
随机搜索：
当超参数的数量增长时，网格搜索的计算复杂度会呈现指数增长，这时要换用随机搜索。就像在沙堆上淘金，闭上眼睛每次随便选个方向走，每次再随便选个步数，走到这步数就停下来淘一把，这是随机搜索。

参考
1、参数和超参数的区别：https://zhuanlan.zhihu.com/p/48516606
2、关于深度学习中超参数优化方法中的随机搜索和网格搜索的解释？：https://www.zhihu.com/question/57394983/answer/181870510
3.开源内容：https://github.com/datawhalechina/team-learning-data-mining/tree/master/IntegratedLearning
4.论坛地址：http://datawhale.club/t/topic/1574