摘要: 针对自适应算法存在的不收敛问题,提出了一种Adam改进算法.通过引入多个超参数,并进行多次指数平滑,来弥补一次指数平滑的不足.此外,对二阶动量计算加以修正,预防了二阶动量数据发生不良的波动,从而达到平滑非预期的大学习率的效果.分别在Resnet模型和Densenet模型上对
基于高次指数平滑动态边界限制的深度学习优化算法
最新推荐文章于 2024-04-27 16:28:20 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)
摘要: 针对自适应算法存在的不收敛问题,提出了一种Adam改进算法.通过引入多个超参数,并进行多次指数平滑,来弥补一次指数平滑的不足.此外,对二阶动量计算加以修正,预防了二阶动量数据发生不良的波动,从而达到平滑非预期的大学习率的效果.分别在Resnet模型和Densenet模型上对