Tensorflow笔记——详解深度学习learning_rate以及如何调整学习率

1.什么是学习率?

  学习率(Learning rate)作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值，学习率越低，损失函数的变化速度就越慢。虽然使用低学习率可以确保我们不会错过任何局部极小值，但也意味着我们将花费更长的时间来进行收敛。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。

公式：new_weight = orign_weight — learning_rate * gradient
梯度下降代码：
repeat{
     θj=θj−α$\frac{\Delta J(\theta )}{\Delta \theta j}$