Optimization algorithm summary | 几种深度学习优化算法表格、思维导图总结对比

最新推荐文章于 2021-07-12 16:52:12 发布

「已注销」

最新推荐文章于 2021-07-12 16:52:12 发布

阅读量416

点赞数

分类专栏：深度学习

本文链接：https://blog.csdn.net/m0_49973750/article/details/115567115

版权

本文提供了一张深度学习优化算法的对比表格，包括Adam、Momentum等，结合思维导图和动图，帮助理解各种算法的特点。推荐在Keras和Tensorflow框架中使用Adam算法，因其结合了Momentum和RMSprop的优点，适用于大多数情况。

摘要由CSDN通过智能技术生成

在这里插入图片描述

嗨，好久不见，我是error，废话不多说，直接上总结。

因为目前大多数深度学习都使用了Keras和Tensorflow框架，很多时候我们都只存在如何选择哪种算法的问题，因此这里着重对比各个算法，而不做详细的解释说明算法的原理问题。如果感兴趣算法的原理，可以上吴恩达老师的课，老师在课上都有详细的说明。

借用了当时上课时的笔记，主要用于复习与回顾。
在这里插入图片描述

此表格是我参考了网上许多资料后制作出来的，感谢网上各位大神的经验分享！

	优点	缺点
Batch Gradient Descent	若为凸函数则必定能收敛到全局最优	迭代慢计算大不允许在线更新增添模型
Stochastic Gradient Descent	速度快，可随时添加新数据	容易困在局部最优
Mini-batch G

关注

专栏目录