优化算法实验比较

最近在学习神经网络的优化算法,发现网上有很多的算法介绍,但是却没有算法实现和实验对比,所以我就用python实现了BGD,SGD,MBGD,Momentum,Nesterov,Adagrad,RMSprop等算法,另外的Adam和NAdam算法是将Momentum,Nesterov,Adagrad几项合并起来的算法,属于工程方面的内容,所以我就没有实现了。

算法原理主要参考文献是:

整体算法参考:[深度解读最流行的优化算法:梯度下降] (https://www.jiqizhixin.com/articles/2016-11-21-4)
整体算法参考:深度学习最全优化方法总结比较(SGD,Adagrad,Adadelta,Adam,Adamax,Nadam)
Momentum 算法实现参考: Deep Learning 最优化方法之Nesterov(牛顿动量)

代码地址

https://github.com/20130353/MachineLearning_code/tree/master/optimize_algorithm

实验结果分析

  在小数据集上的收敛速度对比

转载于:https://www.cnblogs.com/x739400043/p/9663047.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值