这次活动的主题是 hyperparameter optimization 和 bayesian optimization,简单说就是如何更有效率地调参,或者。。如何调得一手好参。这个方向近几年论文出来不少,研究潜力不小;而且实用性很强,不仅可用在深度学习中,也可用于其他机器学习方法的调参。选几篇论文讨论清楚,我想无论对学术还是工程都会有不小帮助。
主要讨论以下几篇论文:
1.
Algorithms for Hyper-Parameter Optimization, by
James Bergstra,可以说是深度学习兴起后最早讨论调参的论文之一,其中第三节提到用Gaussian Process建立超参数与验证集错误率之间的关系,实际上就是BO的思想,后面几节还讨论了另外几种调参的方法和技巧
2.
Random Search for Hyper-Parameter Optimization, by
James Bergstra,提出在选择超参数时,random search的策略比grid search要好,并从理论和实验两方面进行分析
3.
Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for Vision Architectures, by
James Bergstra,我们很关心的视觉神经网络的调参
4.
Practical Bayesian Optimization of Machine Learning Algorithms, by
Jasper Snoek,专门讨论如何在机器学习调参中应用BO
5.
Bayesian Optimization in High Dimensions via Random Embeddings, by
Ziyu Wang,对在高维问题中应用BO提出一种解决方法
6.
Bayesian Optimization Explains Human Active Search, by
Ali Borji,主要是通过一系列实验,说明BO与人类思维活动和搜索策略的异同,内容比较有趣
代码:
对这个方向感兴趣的朋友,可以持续关注James Bergstra、Jasper Snoek、Nando De Freitas组的研究。