TensorFlow笔记之神经网络优化——学习率

1. 学习率：表示了每次更新参数的幅度大小。学习率过大，会导致待优化的参数在最小值附近波动，不收敛；学习率过小，会导致待优化的参数收敛缓慢。
          在训练过程中，参数的更新相纸损失函数梯度下降的方向。参数的更新公式为：
          假设损失函数为 loss = (w + 1)2。梯度是损失函数 loss 的导数为 ∇=2w+2。如参数初值为 5，学习率为 0.2，则参数和损失函数更新如下：
          1 次     参数 w：      5 5 - 0.2 * (2 * 5 + 2) = 2.6
          2 次     参数 w：      2.6 2.6 - 0.2 * (2 * 2.6 + 2) = 1.16
          3 次     参数 w：      1.16 1.16 – 0.2 * (2 * 1.16 + 2) = 0.296
          4 次     参数 w：      0.296
          损失函数 loss = (w + 1)2 的图像为：
   
                             
          由图可知，损失函数loss的最小值会在（-1,0）处得到，此时损失函数的倒数为0，得到