深度学习中超参与调参

参数(parameters)和超参数(hyperparameters)

在机器学习或者深度学习领域，参数和超参数是一个常见的问题，个人根据经验给出了一个很狭隘的区分这两种参数的方法。

参数：就是模型可以根据数据可以自动学习出的变量，应该就是参数。比如，深度学习的权重，偏差等

超参数：就是用来确定模型的一些参数，超参数不同，模型是不同的(这个模型不同的意思就是有微小的区别，比如假设都是CNN模型，如果层数不同，模型不一样，虽然都是CNN模型哈。)，超参数一般就是根据经验确定的变量。在深度学习中，超参数有：学习速率，迭代次数，层数，每层神经元的个数等等。

深度学习 调参数

这次活动的主题是 hyperparameter optimization 和 bayesian optimization，简单说就是如何更有效率地调参，或者。。如何调得一手好参。这个方向近几年论文出来不少，研究潜力不小；而且实用性很强，不仅可用在深度学习中，也可用于其他机器学习方法的调参。选几篇论文讨论清楚，我想无论对学术还是工程都会有不小帮助。

主要讨论以下几篇论文：

1.  Algorithms for Hyper-Parameter Optimization, by  James Bergstra，可以说是深度学习兴起后最早讨论调参的论文之一，其中第三节提到用Gaussian Process建立超参数与验证集错误率之间的关系，实际上就是BO的思想，后面几节还讨论了另外几种调参的方法和技巧

2.  Random Search for Hyper-Parameter Optimization, by  James Bergstra，提出在选择超参数时，random search的策略比grid search要好，并从理论和实验两方面进行分析

3.  Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for Vision Architectures, by  James Bergstra，我们很关心的视觉神经网络的调参

4.  Practical Bayesian Optimization of Machine Learning Algorithms, by  Jasper Snoek，专门讨论如何在机器学习调参中应用BO

5.  Bayesian Optimization in High Dimensions via Random Embeddings, by  Ziyu Wang，对在高维问题中应用BO提出一种解决方法

6.  Bayesian Optimization Explains Human Active Search, by  Ali Borji，主要是通过一系列实验，说明BO与人类思维活动和搜索策略的异同，内容比较有趣

代码：

http://hyperopt.github.io/hyperopt/

https://github.com/JasperSnoek/spearmint

对这个方向感兴趣的朋友，可以持续关注James Bergstra、Jasper Snoek、Nando De Freitas组的研究。