梯度下降法快速教程 | 第三章：学习率衰减因子（decay）的原理与Python实现

北京 | 深度学习与人工智能

12月23-24日

再设经典课程 重温深度学习 阅读全文 >

正文共3017个字、11张图、预计阅读时间：8分钟

前言

梯度下降法（Gradient Descent）是机器学习中最常用的优化方法之一，常用来求解目标函数的极值。

其基本原理非常简单：沿着目标函数梯度下降的方向搜索极小值（也可以沿着梯度上升的方向搜索极大值）。

但是如何调整搜索的步长（也叫学习率，Learning Rate）、如何加快收敛速度以及如何防止搜索时发生震荡却是一门值得深究的学问。

上两篇文章《梯度下降法快速教程 | 第一章：Python简易实现以及对学习率的探讨》与《梯度下降法快速教程 | 第二章：冲量（momentum）的原理与Python实现》分别介绍了学习率大小对搜索过程的影响以及“冲量”的原理以及如何用“冲量”来解决收敛速度慢与收敛时发生震荡的问题。接下来本篇文章将介绍梯度下降法中的第三个超参数：decay。

PS：本系列文章全部源代码可在本人的GitHub:monitor1379中下载。

学习率衰减因子：decay

首先先回顾一下不同学习率下梯度下降法的收敛过程（示例代码在GitHub上可下载）：

demo1_GD_lr运行结果

从上图可看出，学习率较大时，容易在搜索过程中发生震荡，而发生震荡的根本原因无非就是搜索的步长迈的太大了。

回顾一下问题本身，在使用梯度下降法求解目标函数func(x) = x * x的极小值时，更新公式为x += v，其中每次x的更新量v为v = - dx * lr，dx为目标函数func(x)对x的一阶导数。可以想到，如果能够让lr随着迭代周期不断衰减变小，那么搜索时迈的步长就能不断减少以减缓震荡。学习率衰减因子由此诞生：