【啃书吧：深度学习与MindSpore实践】第四章 4.4 自适应学习率

初读：2021年3月8日-2021年3月10日

啃书进度会在目录中标出来。本次目标是完成第4章 4.4节 自适应学习率（P45-P49）。

在2.2节我们认识了学习率。学习率是非常重要的超参数，如果学习率不可变，模型的训练将会既费时又费力。当学习率可变时，模型收敛速度会明显提升。

本节将介绍3种常用的自适应学习率算法：AdaGrad、RMSProp和Adam。

祥细内容请看附件文档。

转自文章链接：https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=113062

感谢作者的努力与分享，侵权立删！