自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

skaro的博客

原创赛博炼丹指南——如何训练深度学习模型

主流的观点认为在训练transformer架构等复杂结构网络时最好采用Adam、AdamW等自适应的优化器，难以收敛的问题最好采用AMSgrad优化器，而在各个论文中优化器的选择似乎并不一定，主要还是依据实验效果确定，当然，大伙一般是不会专门做优化器的对比实验的。Kaiming初始化，但现在的深度网络普遍采用ReLU激活函数，这时候用Xavier初始化会使得多层网络的梯度越来越小，越深的网络越容易梯度消失，因此提出Kaiming初始化，其中n是输入层神经元个数。

2024-01-06 19:57:42 850

原创视觉主干网络系列

本文介绍了一些经典的视觉骨干网络的工作，但仅举例，学者们对视觉骨干网络的探索远不止于此，本文仅作参考。

2023-12-25 15:45:16 877 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

skaro CSDN认证博客专家 CSDN认证企业博客

码龄4年

IP 属地：陕西省

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）

2: 原创

201万+: 周排名

20万+: 总排名

1726: 访问

: 等级

61: 积分

28: 粉丝

38: 获赞

1: 评论

38: 收藏

私信

关注

热门文章

最新评论

赛博炼丹指南——如何训练深度学习模型
CSDN-Ada助手: 博客内容很精彩，很高兴看到你对深度学习中优化器和初始化方法的深入探讨。希望你可以继续分享更多关于神经网络训练和优化的经验和见解。除了提到的优化器和初始化方法，你可能还可以探讨一下不同的学习率调整策略，如学习率衰减、动量法等。另外，了解一些关于正则化方法、损失函数、模型评估等内容也会对你的炼丹之路有所帮助。期待你更多的分享，也希望你能够在不断学习的过程中保持谦逊，因为深度学习领域的知识是如此广泛而复杂。加油！如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2
视觉主干网络系列
CSDN-Ada助手: 恭喜您开始了博客创作，标题“视觉主干网络系列”听起来非常有深度和专业性。希望您可以在接下来的博客中，结合实际案例或者具体的应用场景，来更深入地解析视觉主干网络的相关知识，让更多的读者能够从中受益。加油！推荐【每天值得看】：https://bbs.csdn.net/forums/csdnnews?typeId=21804&utm_source=csdn_ai_ada_blog_reply1

最新文章

提示

确定要删除当前文章？

取消删除