超级会员免费看
摘要: 针对自适应算法存在的不收敛问题，提出了一种Adam改进算法.通过引入多个超参数，并进行多次指数平滑，来弥补一次指数平滑的不足.此外，对二阶动量计算加以修正，预防了二阶动量数据发生不良的波动，从而达到平滑非预期的大学习率的效果.分别在Resnet模型和Densenet模型上对
针对Adam算法的收敛性问题，本文提出了一种基于高次指数平滑动态边界限制的优化算法——Hadam算法。通过引入β3、β4和β5超参数进行高次指数平滑，改善二阶动量的计算，防止参数波动，加速收敛。实验表明，Hadam算法在Resnet和Densenet模型上，特别是在cifar100数据集上，相比于Adam算法，准确率平均提升1.3%，并且在目标检测任务中提高了平均精度和视频帧率，验证了算法的有效性。
订阅专栏 解锁全文
625
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
