momentum: μ μ ,上一次更新的权重(保证更新方向不会和上次偏离过多)
learning rate: α α ,当前梯度的权重
weight decay: λ λ 相当于L2 惩罚
refs: caffe,pytorch,stackoverflow
深度学习训练常用参数含义解释
最新推荐文章于 2024-08-19 10:44:09 发布
本文介绍了深度学习训练中重要的参数设置,包括momentum(动量)如何确保权重更新的稳定性,learning rate(学习率)如何调整梯度的影响,以及weight decay(权重衰减)如何实现L2正则化防止过拟合。参考了caffe、pytorch和stack overflow的相关资料。
摘要由CSDN通过智能技术生成