momentum: μ μ ,上一次更新的权重(保证更新方向不会和上次偏离过多)
learning rate: α α ,当前梯度的权重
weight decay: λ λ 相当于L2 惩罚
refs: caffe,pytorch,stackoverflow
深度学习训练常用参数含义解释
最新推荐文章于 2024-04-01 21:42:58 发布
momentum: μ μ ,上一次更新的权重(保证更新方向不会和上次偏离过多)
learning rate: α α ,当前梯度的权重
weight decay: λ λ 相当于L2 惩罚
refs: caffe,pytorch,stackoverflow