炼丹技巧
文章平均质量分 62
滴滴滴'cv
这个作者很懒,什么都没留下…
展开
-
AIGC 360全景图 效果图材质替换
AIGC 360全景图 效果图材质替换原创 2023-03-28 22:40:30 · 1440 阅读 · 5 评论 -
学习率优化策略
Warmup 策略深度学习中, 模型的初始权重是在训练启动阶段随机生成的, 选择 Warmup 策略可以使模型在训练初期使用较小的学习率进行训练, 经过设定的一定数量的迭代次数, 模型趋向稳定后, 再改为预先设定的学习率, 达到预热学习率的效果, 可以防止模型震荡, 加速网络收敛速度, 提升效果.实验中使用 Warmup 策略中的 Gradual Warmup, 即在学习率预热阶段中学习率随着迭代次数增加也逐步提高, 直到预热阶段结束时学习率达到预设定值, 再进行后续训练, 这样能够避免学习率突然增原创 2021-06-22 18:21:45 · 715 阅读 · 0 评论