参数(parameters):有w[1],b[1],w[2],b[2]······
超参数:在进行学习之前需要自己去设置的一些参数,而不是通过训练得到的值,通常这些值会影响你后边,例如w,b这样的值,称之为超参数。即,一个控制实际参数的参数
超参数的实例:
学习率α
梯度下降法循环的数量
隐层数L
隐藏单元数 n[1],n[2]······
使用的激活函数,隐层使用的修正线性单元(ReLU),sigmoid,tanh
以上这些需要自己设置的参数,被称为超参数,这些数字控制了最后参数w和b的值
还有其他的一些超参数,momentum、mini batch的大小,几种不同的正则化参数
超参数的选择
超参数的选择有很多的可能性,需要去尝试不同的值
需要基于想法去不断的尝试,选择最合适的参数值,称之为调参
如果不知道哪个值更好,可以选择一个值,然后观察损失函数的值有没有下降或增加发散
并且该参数值,可能会随着时间的推移,以及设备等问题的变化而发生改变,以至于后续我们还需要重新更新最合适的参数值
内容学习于:【[双语字幕]吴恩达深度学习deeplearning.ai】 https://www.bilibili.com/video/BV1FT4y1E74V/?p=42&share_source=copy_web&vd_source=e9556f9959880156ea1c8493c90ae0a7