超参数（Hyperparameters）与参数（parameters）

参数（parameters）：有w[1],b[1],w[2],b[2]······

超参数：在进行学习之前需要自己去设置的一些参数，而不是通过训练得到的值，通常这些值会影响你后边，例如w，b这样的值，称之为超参数。即，一个控制实际参数的参数

超参数的实例：

学习率α

梯度下降法循环的数量

隐层数L

隐藏单元数 n[1],n[2]······

使用的激活函数，隐层使用的修正线性单元（ReLU），sigmoid，tanh

以上这些需要自己设置的参数，被称为超参数，这些数字控制了最后参数w和b的值

还有其他的一些超参数，momentum、mini batch的大小，几种不同的正则化参数

超参数的选择

超参数的选择有很多的可能性，需要去尝试不同的值

需要基于想法去不断的尝试，选择最合适的参数值，称之为调参

如果不知道哪个值更好，可以选择一个值，然后观察损失函数的值有没有下降或增加发散

并且该参数值，可能会随着时间的推移，以及设备等问题的变化而发生改变，以至于后续我们还需要重新更新最合适的参数值

 内容学习于：【[双语字幕]吴恩达深度学习deeplearning.ai】 https://www.bilibili.com/video/BV1FT4y1E74V/?p=42&share_source=copy_web&vd_source=e9556f9959880156ea1c8493c90ae0a7