深度学习入门~参数与超参数

参数与超参数

• 什么是超参数 (Hyper parameters) ？
  在我们的神经网路模型中，参数是W和b，但是还有其他我们需要告诉算法模型的东西，比如学习率α，还有梯度下降算法的循环次数，隐藏层数L，隐藏单元数l，对于激活函数的选择等等，这些数据都是我们需要动手设置的。这些数字实际上控制着最后的参数W和b的值。 因此我们叫它们超参数。
• 因此，控制着最终参数W和b的参数，被称为超参数。

深度学习和人脑有什么关系？

• 答案是：没什么关系。 在机器学习应用的早期，深度学习和人脑的关系确实是被人们所强调的，但时至今日，这种说法已然过时了。毕竟，在深度学习中，拿监督学习为例，只是建立了一个从输入到输出的映射而已。