深度学习原理8——参数和超参数

1 基本概念

超参数是训练神经网络过程中配置的参数，每次训练时，这些参数是固定的，不是训练过程中更新的参数，比如学习率、神经网络层数等。

参数是我们训练神经网络 最终要学习的目标，最基本的就是神经网络的权重 W和bias b，我们训练的目的，就是要找到一套好的模型参数，用于预测未知的结果。这些参数我们是不用调的，是模型来训练的过程中自动更新生成的。
超参数是我们控制我们模型结构、功能、效率等的 调节旋钮，具体有哪些呢（不止下面的几个）：
（1）learning rate
（2）epochs(迭代次数，也可称为 num of iterations)
（3）num of hiddenlayers(隐层数目)
（4）num of hidden layer units(隐层的单元数/神经元数)
（5）activation function(激活函数)
（6）batch-size(用mini-batch SGD的时候每个批量的大小)
（7）optimizer(选择什么优化器，如SGD、RMSProp、Adam)

2 超参数调优