吴恩达深度学习02-2.9 学习率衰减

引子

• 
  倘若不随着训练的进行来对学习率进行适当的控制，则会出现上图中蓝色曲线的情况，即最终参数值会以较大的幅度在收敛值附近摆动；倘若对其进行控制，则会出现上图中绿色曲线的情况，即最终参数值会以原来越小的幅度在收敛值附近摆动。
• 很显然，你更希望出现绿色的情况。

怎样对学习率进行控制

• 很明显，学习率需要不断的衰减，那么常用的衰减策略是什么呢？
• 吴恩达老师一共给出了三种计算公式，下面是第一种。
• 第2、3种:
  
  可以看出，第二种属于指数下降。