SGD有多种改进的形式，为什么大多数论文中仍然用SGD？

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

导读

 

随机最速下降法(SGD)除了算得快，还具有许多优良性质。它能够自动逃离鞍点，自动逃离比较差的局部最优点，但他也存在着一些不足之处。但在SGD已存在多种改进形式的情况下，为何大多数论文中还是选择用SGD呢？本文介绍了来自知乎的一篇优秀回答。

因为SGD(with Momentum)依然常常是实践效果更好的那个方法。

在理论上和实践上，Adam家族里那些用了自适应学习率的优化器都不善于寻找flat minima。而flat minima对于generalization是很重要的。所以Adam训练得到的training loss可能会更低，但test performance常常却更差。这是很多任务里避免用自适应学习率的最主要的原因。

同时，我们对SGD的理论算是比较了解，而以Adam代表的自适应优化器是一种很heuristic、理论机制也很不清晰的方法。

问题描述里不太准确的一点是：在计算机视觉领域，SGD时至今日还是统治级的优化器。但是在自然语言处理（特别是用Transformer-based models）领域，Adam已经是最流行的优化器了。

所以为什么SGD和Adam会各有所长呢？

如果你在计算机视觉里用Adam之类的自适应优化器，得到的结果很有可能会离SGD的baseline差好几个点。主要原因是，自适应优化器容易找到sharp minima，泛化表现常常比SGD显著地差。

如果你训练Transformer一类的模型，Adam优化得更快且更好。主要原因是，NLP任务的loss landscape有很多“悬崖峭壁”，自适应学习率更能处理这种极端情况，避免梯度爆炸。基于同样的原因，计算机视觉很少用的gradient clipping在NLP任务里几乎必不可少。(可参考这篇ICLR2020 "Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity".)https://arxiv.org/abs/1905.11881

也有一些例外。虽然生成对抗网络（GAN）一般是视觉任务，但是Adam还是成为了最流行的优化器。主要原因还是在于GAN的训练是不太稳定的，它的loss landscape和正常的视觉任务很不同。大家对训练GAN的追求是能稳定就足够好了，flat minima对GAN的意义还不是很明确。

对于比较极端的loss landscape，Adam可能会比较有优势。虽然Adam不擅长找到flat minima，但Adam能比SGD（有理论上保障地）更快地逃离鞍点。

最后，很多人误以为Adam存在两个优点，但实际上并不存在。这也在一定程度上阻碍了Adam流行。

误解一，使用Adam不需要调节初始学习率。

尽管Adam默认的学习率0.001被广泛使用，但是在Adam比SGD表现好的那些领域，恰好都是重新调Adam的学习率的。比如训练GAN时大家一般用学习率0.0002，而不是0.001；而训练Transformer会需要比0.001更大的初始学习率，默认设置是学习率0.2+NOAM Scheduler。调节学习率对结果影响很大，可以说是优化器最重要的超参数。

（Adam在一般的视觉任务常常是不用调学习率的。但是这些任务里无论调不调都无法匹敌SGD。）

误解二，Adam不需要learning rate decay。

太多人有这个误解了。我甚至遇到一些工作几年的工程师、一些PhD对这个问题也有很深的误解。答案是，自适应优化器和需要不需要LR scheduler几乎是的没有关系的，他们经常需要同时（叠加）工作。

SGD和Adam的收敛性证明也都是要求learning rate最后会降到足够低的。但自适应优化器的学习率不会在训练中自动降到很低。

实际上你随便用CIFAR或者ImageNet跑一跑常见的模型就知道：训练的最后阶段，如果不主动把learning rate降下去，loss根本就不会自己收敛到一个比较小的值。你需要learning rate decay，从理论到实践上都太需要了。

好消息！

小白学视觉知识星球

开始面向外开放啦👇👇👇

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~